Usuń wszystkie zduplikowane słowa z łańcucha za pomocą skryptu powłoki

Mam taki ciąg

"aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"

Chcę usunąć zduplikowane słowo z ciągu, a następnie wynik będzie podobny

"aaa,bbb,ccc"

Próbowałem tego kodu źródłowego

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

Działa dobrze z tą samą wartością, ale kiedy podam moją wartość zmiennej, pokazuje także wszystkie zduplikowane słowa.

Jak mogę usunąć zduplikowaną wartość.

AKTUALIZACJA

Moje pytanie polega na dodaniu całej odpowiadającej wartości do jednego ciągu, jeśli użytkownik jest taki sam. Mam takie dane ->

   user name    | colour
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green

W kodowaniu pobieram wszystkich różnych użytkowników, a następnie z powodzeniem łączę ciąg kolorów. Dla tego, że używam kodu -

while read the records 

    if [ "$c" == "" ]; then  #$c I defined global
        c="$colour1"
    else
        c="$c,$colour1" 
    fi

Kiedy drukuję tę zmienną $ c, otrzymuję wynik (dla użytkownika AAA)

"red,black,blue,red,green,red,black,blue,red,green,"

Chcę usunąć zduplikowany kolor. Następnie pożądane wyjście powinno być jak

"red,black,blue,green"

Do tego pożądanego wyjścia użyłem powyższego kodu

 echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

ale wyświetla dane wyjściowe ze zduplikowanymi wartościami

„czerwony, czarny, niebieski, czerwony, zielony, czerwony, czarny, niebieski, czerwony, zielony”, Dzięki

Jeszcze jeden awk, dla zabawy:

$ a="aaa bbb aaa bbb ccc aaa ddd bbb ccc"
$ echo "$a" | awk '{for (i=1;i<=NF;i++) if (!a[$i]++) printf("%s%s",$i,FS)}{printf("\n")}'
aaa bbb ccc ddd 

Nawiasem mówiąc, nawet twoje rozwiązanie działa dobrze ze zmiennymi:

$ b="zebra ant spider spider ant zebra ant" 
$ echo "$b" | xargs -n1 | sort -u | xargs
ant spider zebra

Z tr, sortiuniq

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq

lub

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq | xargs 

dostać jedną linię

$ echo "zebra ant spider spider ant zebra ant"  | awk -v RS="[ \n]+" '!n[$0]++' 
zebra
ant
spider

Z GNU sed:

sed ':s;s/\(\<\S*\>\)\(.*\)\<\1\>/\1\2/g;ts'

Możesz dodać, ;s/ */ /gaby usunąć zdublowane spacje.

Funkcje takie jak to: Jeśli słowo jest po raz drugi w tym wierszu, usuń je i zacznij od nowa, aż nie będzie już żadnej publikacji.

perl -lane '$,=$";print grep { ! $h{$_}++ } @F'

Obowiązkowe rozwiązanie awk:

$ echo "ant zebra ant spider spider ant zebra ant" | 
   awk -vRS=" " -vORS=" " '!a[$1] {a[$1]++} END{ for (x in a) print x;  } ' ; echo
zebra ant spider 

(Finał echojest dostępny dla nowej linii)

Pyton

opcja 1

#!/usr/bin/env python
# get_unique_words.py

import sys

l = []
for w in sys.argv[1].split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)

Ustaw plik wykonywalny, a następnie zadzwoń z Bash:

$ ./get_unique_words.py "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"
aaa,bbb,ccc

Możesz też zaimplementować go jako funkcję Bash, ale składnia jest nieporządna.

get_unique_words(){
  python -c "
l = []
for w in '$1'.split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)"
}

Opcja 2

W razie potrzeby ta opcja może stać się jednostronną:

#!/usr/bin/env python
# get_unique_words.py

import sys

s_in = sys.argv[1]
l_in = s_in.split(',') # Turn string into a list.
set_out = set(l_in) # Turning a list into a set removes duplicates items.
s_out = ','.join(set_out) 
print s_out

W Bash:

get_unique_words(){
  python -c "print ','.join(set('$1'.split(',')))"
}

cat filename | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }' > newfile

Korzystanie z oryginalnych danych tabelarycznych w pliku o nazwie file:

sed '1d' file | sort -u |
awk '{ color[$1] = ( color[$1] == "" ? $3 : color[$1] "," $3 ) }
     END { for (user in color) print user, color[user] }'

To generuje

CCC red
BBB blue,red
AAA black,blue,green,red

Trzy etapy rurociągu:

1. sedPolecenie usuwa pierwszą linię, która jest nagłówek, że nie chcemy czytać.

2. sortKomenda daje nam unikalne linie. Przykładowe dane po sortwyglądzie

   AAA         | black
   AAA         | blue
   AAA         | green
   AAA         | red
   BBB         | blue
   BBB         | red
   CCC         | red

3. awkKomenda bierze te dane i tworzy ciąg oddzielonych przecinkami dla każdego użytkownika w tablicy color(gdzie nazwa użytkownika jest kluczem do tablicy). Na końcu (w ENDbloku) wszystkie zebrane dane są wyprowadzane.

a="aaa aaa aaa bbb bbb ccc bbb ccc"
for item in $a
do
   echo $item
done | sort -u | (while read i; do ans="$ans $i"; done ; echo $ans)