Czy istnieje niezawodne narzędzie wiersza polecenia do przetwarzania plików csv?

Pracuję z plikami CSV i czasami muszę szybko sprawdzić zawartość wiersza lub kolumny z wiersza polecenia. W wielu przypadkach cut, head, taili przyjaciół zrobi pracy; Jednak cięcie nie może łatwo poradzić sobie w sytuacjach takich jak

"this, is the first entry", this is the second, 34.5

Tutaj pierwszy przecinek jest częścią pierwszego pola, ale się cut -d, -f1nie zgadza. Zanim sam napisałem rozwiązanie, zastanawiałem się, czy ktoś wiedział o dobrym narzędziu, które już istnieje dla tej pracy. Musiałby przynajmniej móc obsłużyć powyższy przykład i zwrócić kolumnę z pliku w formacie CSV. Inne pożądane funkcje obejmują możliwość wyboru kolumn na podstawie nazw kolumn podanych w pierwszym wierszu, obsługę innych stylów cytowania i obsługę plików rozdzielanych tabulatorami.

Jeśli nie znasz takiego narzędzia, ale masz sugestie dotyczące implementacji takiego programu w Bash, Perl lub Python lub innych popularnych językach skryptowych, nie miałbym nic przeciwko takim sugestiom.

Możesz użyć csvmodułu Pythona .

Prosty przykład:

import csv
reader = csv.reader(open("test.csv", "r"))
for row in reader:
    for col in row:
        print col

Prawdopodobnie jestem trochę za późno, ale warto wspomnieć o innym narzędziu: csvkit

http://csvkit.readthedocs.org/

Ma wiele narzędzi wiersza poleceń, które mogą:

• formatowanie plików CSV,
• konwersja do i z CSV z różnych formatów (JSON, SQL, XLS),
• odpowiednikiem cut, grep, sorti innych, ale CSV-aware,
• dołącz różne pliki CSV,
• wykonaj ogólne zapytania SQL dotyczące danych z plików CSV.

Brzmi jak praca dla Perla Text::CSV.

perl -MText::CSV -pe '
    BEGIN {$csv = Text::CSV->new();}
    $csv->parse($_) or die;
    @fields = $csv->fields();
    print @fields[1,3];
'

Zobacz dokumentację obsługi nazw kolumn. Styl separatora i cytowania można dostroić za pomocą parametrów do new. Zobacz także Text::CSV::Separatorzgadywanie separatora.

Znalazłem csvfix, narzędzie wiersza poleceń dobrze sobie radzi. Musisz jednak zrobić to sam:

http://neilb.bitbucket.org/csvfix

Robi wszystko, czego można się spodziewać, porządkować / wybierać kolumny, dzielić / scalać i wiele innych, których nie chciałbyś generować wstawień SQL z danych CSV i różnicowania danych CSV.

Jeśli chcesz użyć wiersza polecenia (i nie tworzysz całego programu do wykonania zadania), chcesz użyć wierszy , projektu, nad którym pracuję: jest to interfejs wiersza polecenia do danych tabelarycznych, ale także biblioteka Python do wykorzystania w twoich programach. Za pomocą interfejsu wiersza poleceń możesz ładnie wydrukować dowolne dane w CSV, XLS, XLSX, HTML lub dowolnym innym formacie tabelarycznym obsługiwanym przez bibliotekę za pomocą prostej komendy:

rows print myfile.csv

Jeśli myfile.csvtak jest:

state,city,inhabitants,area
RJ,Angra dos Reis,169511,825.09
RJ,Aperibé,10213,94.64
RJ,Araruama,112008,638.02
RJ,Areal,11423,110.92
RJ,Armação dos Búzios,27560,70.28

Następnie wiersze wydrukują zawartość w piękny sposób, w następujący sposób:

+-------+-------------------------------+-------------+---------+
| state |              city             | inhabitants |   area  |
+-------+-------------------------------+-------------+---------+
|    RJ |                Angra dos Reis |      169511 |  825.09 |
|    RJ |                       Aperibé |       10213 |   94.64 |
|    RJ |                      Araruama |      112008 |  638.02 |
|    RJ |                         Areal |       11423 |  110.92 |
|    RJ |            Armação dos Búzios |       27560 |   70.28 |
+-------+-------------------------------+-------------+---------+

Instalowanie

Jeśli jesteś programistą Python i masz już pipzainstalowany na swoim komputerze, po prostu uruchom w virtualenv lub z sudo:

pip install rows

Jeśli używasz Debiana:

sudo apt-get install rows

Inne fajne funkcje

Konwertowanie formatów

Możesz konwertować pomiędzy dowolnym obsługiwanym formatem:

rows convert myfile.xlsx myfile.csv

Zapytanie

Tak, możesz użyć SQL w pliku CSV:

$ rows query 'SELECT city, area FROM table1 WHERE inhabitants > 100000' myfile.csv
+----------------+--------+
|      city      |  area  |
+----------------+--------+
| Angra dos Reis | 825.09 |
|       Araruama | 638.02 |
+----------------+--------+

Konwersja wyniku zapytania do pliku zamiast standardowego wyjścia jest również możliwa przy użyciu --outputparametru.

Jako biblioteka Python

Możesz także w swoich programach Python:

import rows
table = rows.import_from_csv('myfile.csv')
rows.export_to_txt(table, 'myfile.txt')
# `myfile.txt` will have same content as `rows print` output

Mam nadzieję, że ci się spodoba!

R nie jest moim ulubionym językiem programowania, ale nadaje się do takich rzeczy. Jeśli twój plik csv to

***********
foo.csv
***********
 col1, col2, col3
"this, is the first entry", this is the second, 34.5
'some more', "messed up", stuff

Wewnątrz typu interpretera R.

> x=read.csv("foo.csv", header=FALSE)

> x
                     col1                col2   col3
1 this, is the first entry  this is the second   34.5
2              'some more'           messed up  stuff
> x[1]  # first col
                      col1
1 this, is the first entry
2              'some more'
> x[1,] # first row
                      col1                col2  col3
1 this, is the first entry  this is the second  34.5

W odniesieniu do innych wniosków dotyczących „możliwości wyboru kolumn na podstawie nazw kolumn podanych w pierwszym wierszu” patrz

> x["col1"]
                      col1
1 this, is the first entry
2              'some more'

Aby zapoznać się z „obsługą innych stylów cytowania”, zobacz quoteargument read.csv (i powiązane funkcje). Aby zapoznać się z „obsługą plików rozdzielanych tabulatorami”, zobacz separgument read.csv (ustawiony sepna „\ t”).

Aby uzyskać więcej informacji, zobacz pomoc online.

> help(read.csv)

Raz użyłem csvtool i zaoszczędziłem dużo czasu i kłopotów. Możliwość wywołania z powłoki.

http://caml.inria.fr/cgi-bin/hump.en.cgi?contrib=447

Miller to kolejne fajne narzędzie do manipulacji danymi opartymi na nazwach, w tym CSV (z nagłówkami). Aby wyodrębnić pierwszą kolumnę pliku CSV, nie dbając o jego nazwę, zrobiłbyś coś takiego

printf '"first,column",second,third\n1,2,3\n' |
  mlr --csv --implicit-csv-header --headerless-csv-output cut -f 1

Lub możesz spróbować magii awk . Jednak nie jestem dobrym użytkownikiem awk i nie mogę potwierdzić, że to zadziała poprawnie i jak to zrobić.

Zobacz także GNU Recutils i narzędzia do kruszenia .

(przez http://www.reddit.com/r/commandline/comments/mfcu9/anyone_using_gnu_recutils_is_it_outdatedsuperceded/ )

Aby użyć Pythona z wiersza poleceń, możesz sprawdzić pythonpy ( https://github.com/Russell91/pythonpy ):

$ echo $'a,b,c\nd,e,f' | py '[x[1] for x in csv.reader(sys.stdin)']
b
e

wypróbuj „csvtool” ten pakiet to przydatne narzędzie wiersza poleceń do obsługi plików CSV

cissy wykona również przetwarzanie csv z wiersza poleceń. Jest napisany w C (mały / lekki) z pakietami rpm i deb dostępnymi dla większości dystrybucji.

Korzystając z przykładu:

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 1
"this, is the first entry"

lub

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2
 this is the second

lub

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2-
 this is the second, 34.5

Istnieje również biblioteka Curry do odczytu / zapisu plików w formacie CSV : CSV .

Strukturalne narzędzia tekstowe github repo zawierają przydatną listę odpowiednich narzędzi wiersza poleceń systemu Linux. W szczególności sekcja Wartości oddzielane separatora zawiera listę kilku narzędzi obsługujących CSV, które bezpośrednio obsługują żądane operacje.

Polecam xsv - szybki zestaw narzędzi wiersza poleceń CSV napisany w Rust ( Github ).

Napisane przez autora Ripgrepa .

Wyróżnione w Jak przyspieszyliśmy przetwarzanie CSV 142 razy ( wątek Reddit ).

Jednym z najlepszych narzędzi jest Miller ( http://johnkerl.org/miller/doc/index.html ). To jest jak awk, sed, cut, złącz i sortuj dane indeksowane według nazw, takie jak CSV, TSV i tabelaryczny JSON.

W przykładzie

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --icsv --implicit-csv-header cat

daje Ci

1=this, is the first entry,2= this is the second,3= 34.5

Jeśli chcesz TSV

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --c2t --implicit-csv-header cat

daje (możliwe jest usunięcie nagłówka)

1       2       3
this, is the first entry         this is the second      34.5

Jeśli chcesz pierwszą i trzecią kolumnę, zmieniając ich kolejność

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --csv --implicit-csv-header --headerless-csv-output cut -o -f 3,1

daje Ci

 34.5,"this, is the first entry"

Jeśli chcesz wizualnego / interaktywnego narzędzia w terminalu, z całego serca polecam VisiData.

Ma tabele częstotliwości (pokazane powyżej), wykres przestawny, topienie, wykresy rozrzutu, filtrowanie / obliczenia za pomocą Pythona i wiele innych.

Możesz przekazać takie pliki csv

vd hello.csv

Istnieje csv opcje charakterystyczne: --csv-dialect, --csv-delimiter, --csv-quotechar, i --csv-skipinitialspacedla dostrojone obsługi plików CSV.

Niesamowite rozwiązanie

awk -vq='"' '
func csv2del(n) {
  for(i=n; i<=c; i++)
    {if(i%2 == 1) gsub(/,/, OFS, a[i])
    else a[i] = (q a[i] q)
    out = (out) ? out a[i] : a[i]}
  return out}
{c=split($0, a, q); out=X;
  if(a[1]) $0=csv2del(1)
  else $0=csv2del(2)}1' OFS='|' file