Unikalne sortowanie: Przekieruj wyjście do tego samego pliku

Czy istnieje jakiś krótki sposób na zapisanie wyniku potoku w tym samym pliku, który jest przetwarzany. Na przykład to właśnie robię

$ cat filename | sort | uniq > result
$ rm -f filename
$ mv result filename

Zastanawiałem się, czy można to zrobić w jednym wierszu (nie dodając tych poleceń za pomocą &&)

To nie jest droga, ale znalezienie pomysłu

$ cat filename | sort | uniq > filename

Możesz użyć spongez pakietu moreutils :

LC_ALL=C sort -u filename | sponge filename

Nie potrzebujesz też potoku do uniq, ponieważ kiedy sortma -uopcję unikatowych linii podczas sortowania.

Zauważ, że w systemie GNU z ustawieniami narodowymi UTF-8, sort -ulub sort | uniqnie dawał ci unikalnych linii, ale pierwszy z sekwencji linii, które sortują to samo w bieżącym locale.

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=en_US.utf8 sort | LC_ALL=en_US.utf8 uniq
①

dałem ci tylko ①. Zmiana ustawień regionalnych na C wymusza porządek sortowania na podstawie wartości bajtów:

$ export LC_ALL=C
$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C sort | LC_ALL=C uniq
①
②

Nie potrzebujesz żadnych dodatkowych poleceń, takich jak cati uniqbez użycia rmpolecenia i mvpolecenia do usunięcia i zmiany nazwy pliku. wystarczy użyć prostej komendy.

sort -u filename -o filename

 -u, --unique
        with -c, check for strict ordering; without -c, output only  the
        first of an equal run

 -o, --output=FILE
        write result to FILE instead of standard output

Jak to działa?

sortpolecenie sortuje nazwę pliku iz -uopcją usuwa z niego zduplikowane linie. następnie z -oopcją zapisuje dane wyjściowe do tego samego pliku metodą lokalną.

Sugerowany przez Ciebie przykład (poniżej) nie działa, ponieważ faktycznie będziesz jednocześnie czytać i zapisywać do tego samego pliku.

$ cat filename | sort | uniq > filename

Idea z potokiem lub przekierowaniem polega na tym, że polecenie po lewej i prawej stronie każdej potoku lub przekierowania działa równolegle. Polecenie po prawej przetwarza informacje, które są mu przekazywane z polecenia po lewej stronie, podczas gdy polecenie po lewej stronie jest nadal uruchomione.

Aby scenariusz zadziałał, polecenie, które odczytuje z pliku, musiałoby zakończyć się przed uruchomieniem polecenia zapisującego do pliku. Aby to zadziałało, musisz najpierw przekierować dane wyjściowe do lokalizacji tymczasowej, a następnie, gdy to się skończy, wyślij je z lokalizacji tymczasowej z powrotem do pliku.

Lepszym sposobem na to jest w zasadzie jak w poprzednim przykładzie, w którym przekierowujesz do pliku tymczasowego, a następnie zmieniasz nazwę tego pliku z powrotem na oryginalny (z wyjątkiem tego, że nie musisz najpierw usuwać pliku, ponieważ przeniesienie usuwa dowolny istniejący cel) .

$ cat filename | sort | uniq > result
$ mv -f result filename

Możesz także zapisać go w zmiennej łańcuchowej, z tą różnicą, że działa tylko wtedy, gdy dane są wystarczająco małe, aby zmieścić się w pamięci jednocześnie.

Możesz użyć teepolecenia:

sort -u filename | tee filename > /dev/null

teeKomenda czyta ze standardowego wejścia i zapisuje na standardowe wyjście i plików.

Możesz używać Vima w trybie Ex:

ex -sc 'sort u|x' filename

1. sort u sortuj unikalne

2. x napisz, jeśli zmiany zostały wprowadzone (mają) i wyjdź