Jak sprawdzić, czy plik używa CRLF lub LF bez modyfikowania go?

Muszę okresowo uruchamiać polecenie, które zapewnia, że ​​niektóre pliki tekstowe są przechowywane w trybie Linux. Niestety dos2unixzawsze modyfikuje plik, co zepsułoby znaczniki czasu pliku i folderu i spowodowało niepotrzebne zapisy.

Skrypt, który piszę jest w języku Bash, więc wolałbym odpowiedzi oparte na Bash.

Możesz użyć dos2unixjako filtru i porównać jego wyniki z oryginalnym plikiem:

dos2unix < myfile.txt | cmp -s - myfile.txt

Jeśli celem jest uniknięcie wpływu na znacznik czasu, dos2unixma opcję -klub --keepdate, która zachowa ten sam znacznik czasu. Nadal będzie musiał wykonać zapis, aby utworzyć plik tymczasowy i zmienić jego nazwę, ale nie wpłynie to na twoje znaczniki czasu.

Jeśli jakakolwiek modyfikacja pliku jest niedopuszczalna, możesz użyć następującego rozwiązania z tej odpowiedzi .

find . -not -type d -exec file "{}" ";" | grep CRLF

Możesz spróbować grepdla kodu CRLF, ósemkowe:

grep -U $'\015' myfile.txt

lub hex:

grep -U $'\x0D' myfile.txt

Od wersji 7.1dos2unix ma -i, --infoopcja, aby uzyskać informacje na temat łamania linii. Możesz użyć samego dos2unix do przetestowania, które pliki wymagają konwersji.

Przykład:

dos2unix -ic *.txt | xargs dos2unix

Pierwsza metoda ( grep):

Policz linie zawierające znak powrotu karetki:

[[ $(grep -c $'\r' myfile.txt) -gt 0 ]] && echo dos

Policz linie kończące się znakiem powrotu karetki:

[[ $(grep -c $'\r$' myfile.txt) -gt 0 ]] && echo dos

Zazwyczaj będą one równoważne; powrót karetki we wnętrzu linii (tj. nie na końcu) jest rzadki.

Bardziej wydajny:

grep -q $'\r' myfile.txt && echo dos

To jest bardziej wydajne

1. ponieważ nie musi konwertować liczby na ciąg ASCII, a następnie przekonwertować ten ciąg z powrotem na liczbę całkowitą i porównać go do zera, a
2. ponieważ grep -cmusi odczytać cały plik, policzyć wszystkie wystąpienia wzorca, a grep -qmoże wyjść po zobaczeniu pierwszego wystąpienia wzorca.

Uwagi:

• W powyższym przypadku może być konieczne dodanie -Uopcji (tj. Użyj -cUlub -qU), ponieważ GNU grepzgaduje, czy plik jest plikiem tekstowym. Jeśli uważa, że ​​plik jest tekstem, ignoruje znaki powrotu karetki na końcach wierszy, próbując sprawić, by $wyrażenia regularne działały „poprawnie” - nawet jeśli wyrażenie regularne jest \r$! Podanie -U(lub --binary) unieważnia zgadywanie, powodując greptraktowanie plików jako plików binarnych i przekazywanie danych dosłownie do mechanizmu dopasowywania, z nienaruszonymi zakończeniami CR.
• Nie rób grep … $'\r\n' myfile.txt, ponieważ greptraktuje \njak separator wzorca. Podobnie jak grep -E 'foo|'linie zawierające foolub łańcuch zerowy, grep $'\r\n'szuka linii zawierających \rlub łańcuch zerowy, a każda linia odpowiada łańcuchowi zerowemu.

Druga metoda ( file):

[[ $(file myfile.txt) =~ CRLF ]] && echo dos

ponieważ filezgłasza coś takiego:

myfile.txt: UTF-8 Unicode text, with CRLF line terminators

Bezpieczniejszy wariant:

[[ $(file -b - < myfile.txt) =~ CRLF ]] && echo dos

gdzie

• file -bwyświetla tylko typ pliku, a nie nazwę pliku. Bez tego plik, którego nazwa zawiera znakiCRLF , wyzwala fałszywy wynik dodatni.
• file - < filenamedziała, nawet jeśli filenamezaczyna się od -.  ^{Zobacz skrypt Bash: sprawdź, czy plik jest plikiem tekstowym .}

Uwaga: sprawdzanie danych wyjściowych file może nie działać w ustawieniach narodowych innych niż angielski.

Posługiwać się cat -A

$ cat file
hello
hello

Teraz, jeśli ten plik został utworzony w systemach * NIX, zostanie wyświetlony

$ cat -A file
hello$
hello$

Ale jeśli ten plik został utworzony w systemie Windows, zostanie wyświetlony

$ cat -A file
hello^M$
hello

^Mreprezentuje CRi $reprezentuje LF. Zauważ, że Windows nie zapisał ostatniego wierszaCRLF

To również nie zmienia zawartości pliku.

funkcja bash dla Ciebie:

# return 0 (true) if first line ends in CR
isDosFile() {
    [[ $(head -1 "$1") == *$'\r' ]]  
}

Następnie możesz robić takie rzeczy jak

streamFile () {
    if isDosFile /tmp/foo.txt; then
        sed 's/\r$//' "$1"
    else
        cat "$1"
    fi
}

streamFile /tmp/foo.txt | process_lines_without_CR

Jeśli plik ma zakończenia linii CR-LF w stylu DOS / Windows, to jeśli spojrzysz na nie za pomocą narzędzia uniksowego, zobaczysz znaki CR („\ r”) na końcu każdej linii.

To polecenie:

grep -l '^M$' filename

wydrukuje, filenamejeśli plik zawiera jedną lub więcej linii z zakończeniami w stylu Windows, i nie wydrukuje nic, jeśli nie będzie. Tyle, że ^Mmusi to być dosłowny znak powrotu karetki, zwykle wprowadzany w terminalu, wpisując Ctrl+, Va następnie Enter (lub Ctrl+, Va następnie Ctrl+ M). Powłoka bash pozwala napisać dosłowny znak powrotu karetki jako $'\r'( udokumentowany tutaj ), dzięki czemu możesz napisać:

grep -l $'\r$' filename

Inne powłoki mogą zapewniać podobną funkcję.

Zamiast tego możesz użyć innego narzędzia:

awk '/\r$/ { exit(1) }' filename

Spowoduje to wyjście ze statusem 1(ustawienie $?na 1), jeśli plik zawiera jakieś zakończenia linii w stylu Windows, oraz ze statusem 0jeśli nie, co czyni go przydatnym w ifinstrukcji powłoki (zauważ brak [nawiasów ]):

if awk '/\r$/ { exit(1) }' filename ; then
    echo filename has Unix-style line endings
else
    echo filename has at least one Windows-style line ending
fi

Plik może zawierać mieszaninę zakończeń linii w stylu Unix i Windows. Zakładam, że chcesz wykryć pliki, które mają dowolne zakończenia linii w stylu Windows.

Użyj file:

$ file README.md
README.md: ASCII text, with CRLF line terminators

$ dos2unix README.md
dos2unix: converting file README.md to Unix format...

$ file README.md
README.md: ASCII text

Używałem

cat -v filename.txt | diff - filename.txt

który wydaje się działać. Uważam, że wynik jest nieco łatwiejszy do odczytania niż

dos2unix < filename.txt | diff - filename.txt

Jest to również przydatne, jeśli nie możesz zainstalować dos2unixz jakiegoś powodu.