Jak przekonwertować koniec wiersza systemu Windows na koniec wiersza w systemie Unix (CR / LF na LF)

Jestem programistą Java i używam Ubuntu do programowania. Projekt został stworzony w Windows z Eclipse i używa kodowania Windows-1252 .

Aby przekonwertować do UTF-8, użyłem programu recode :

find Web -iname \*.java | xargs recode CP1252...UTF-8

To polecenie powoduje ten błąd:

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data

Szukałem tego i otrzymałem rozwiązanie w Bash i Windows, Recode: Niejednoznaczne wyjście w kroku `data..CR-LF ' i mówi:

Konwertuj zakończenia linii z CR / LF na pojedynczy LF: Edytuj plik za pomocą Vima, podaj polecenie :set ff=unixi zapisz plik. Przekodowywanie powinno teraz działać bez błędów.

Fajnie, ale mam wiele plików, z których mogę usunąć znak CR / LF, i nie mogę otworzyć każdego, aby to zrobić. Vi nie zapewnia żadnej opcji w wierszu poleceń dla operacji Bash.

Czy można do tego użyć seda? W jaki sposób?

Powinien istnieć program o nazwie dos2unix, który naprawi zakończenia linii. Jeśli nie ma go jeszcze na twoim Linuksie, powinien być dostępny za pośrednictwem menedżera pakietów.

sed nie może dopasować \ n, ponieważ końcowy znak nowej linii jest usuwany przed umieszczeniem linii w przestrzeni wzorca, ale może dopasować \ r, więc możesz przekonwertować \ r \ n (dos) na \ n (unix), usuwając \ r

sed -i 's/\r//g' file

Ostrzeżenie: spowoduje to zmianę oryginalnego pliku

Nie możesz jednak zmienić unixowego EOL na DOS lub starego mac (\ r) przez to. Więcej lektur tutaj:

Jak mogę zamienić znak nowej linii (\ n) używając seda?

W rzeczywistości vim pozwala na to, czego szukasz. Wpisz vim i wpisz następujące polecenia:

:args **/*.java
:argdo set ff=unix | update | next

Pierwsze z tych poleceń **/*.javarekurencyjnie ustawia listę argumentów na wszystkie pasujące pliki , czyli wszystkie pliki Java. Drugie z tych poleceń wykonuje kolejno następujące czynności dla każdego pliku na liście argumentów:

• Ustawia zakończenia linii na styl uniksowy (już to wiesz)
• Zapisuje plik, jeśli został zmieniony
• Przechodzi do następnego pliku

Polecenie tr może również zrobić to:

tr -d '\15\32' < winfile.txt > unixfile.txt

i powinien być dla Ciebie dostępny.

Będziesz musiał uruchomić tr z poziomu skryptu, ponieważ nie może on działać z nazwami plików. Na przykład utwórz plik myscript.sh:

#!/bin/bash

for f in `find -iname \*.java`; do
    echo "$f"
    tr -d '\15\32' < "$f" > "$f.tr"
    mv "$f.tr" "$f"
    recode CP1252...UTF-8 "$f"
done

Uruchomienie myscript.shspowoduje przetworzenie wszystkich plików java w bieżącym katalogu i jego podkatalogach.

Zrobię mały wyjątek od odpowiedzi jichao. Właściwie możesz zrobić wszystko, o czym właśnie mówił, dość łatwo. Zamiast \nszukać znaku, po prostu poszukaj powrotu karetki na końcu wiersza.

sed -i 's/\r$//' "${FILE_NAME}"

Aby zmienić z unixowego z powrotem na dos, po prostu poszukaj ostatniego znaku w linii i dodaj do niego feed. (Dodam, -raby było to łatwiejsze dzięki wyrażeniom regularnym grep).

sed -ri 's/(.)$/\1\r/' "${FILE_NAME}"

Teoretycznie plik można zmienić na styl mac, dodając kod do ostatniego przykładu, który również dołącza następny wiersz danych wejściowych do pierwszego wiersza, aż wszystkie wiersze zostaną przetworzone. Jednak nie będę próbował tutaj robić tego przykładu.

Ostrzeżenie: -i zmienia rzeczywisty plik. Jeśli chcesz wykonać kopię zapasową, dodaj ciąg znaków po -i. Spowoduje to przeniesienie istniejącego pliku do pliku o tej samej nazwie z twoimi znakami dodanymi na końcu.

Aby przezwyciężyć

Ambiguous output in step `CR-LF..data'

prostym rozwiązaniem może być dodanie -fflagi wymuszającej konwersję.

Czy próbowałeś znaleźć tutaj skrypt Pythona autorstwa Bryana Maupina ? (Zmodyfikowałem to trochę, aby było bardziej ogólne)

#!/usr/bin/env python

import sys

input_file_name = sys.argv[1]
output_file_name = sys.argv[2]

input_file = open(input_file_name)
output_file = open(output_file_name, 'w')

line_number = 0

for input_line in input_file:
    line_number += 1
    try:  # first try to decode it using cp1252 (Windows, Western Europe)
        output_line = input_line.decode('cp1252').encode('utf8')
    except UnicodeDecodeError, error:  # if there's an error
        sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
        try:  # then if that fails, try to decode using latin1 (ISO 8859-1)         
            output_line = input_line.decode('latin1').encode('utf8')
        except UnicodeDecodeError, error:  # if there's an error
            sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
            sys.exit(1)  # and just keep going
    output_file.write(output_line)

input_file.close()
output_file.close()

Możesz użyć tego skryptu z

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql

Wróć do systemu Windows, powiedz Eclipse, aby zmienił kodowanie na UTF-8, a następnie z powrotem na Unix i uruchom d2una plikach.