Pytania otagowane jako text-processing

Mam duży plik złożony z pól tekstowych oddzielonych średnikami w postaci dużej tabeli. Zostało posortowane. Mam mniejszy plik złożony z tych samych pól tekstowych. W pewnym momencie ktoś połączył ten plik z innymi, a następnie zrobił coś w celu utworzenia dużego pliku opisanego powyżej. Chciałbym odjąć wiersze małego pliku od …

16 files  text-processing  diff 

Muszę usunąć tekst z linii przed separatorem. Na przykład: (123434): hello::{apple,orange,mango}. Najpierw muszę usunąć tekst :. tj (123434). Czy w Linuksie jest jakieś polecenie do wykonania tego zadania?

16 command-line  text-processing 

Czy ktoś wie o nieliniowym narzędziu służącym do „binarnego” wyszukiwania / zastępowania ciągów w sposób zapewniający oszczędność pamięci? Zobacz też to pytanie . Mam plik tekstowy + 2 GB, który chciałbym przetworzyć podobnie do tego, co wygląda na to, że: sed -e 's/>\n/>/g' Oznacza to, że chcę usunąć wszystkie nowe …

16 text-processing  sed  newlines 

Używam Solaris 10, więc opcje grep obejmujące -f nie działają. Mam dwa pliki oddzielone potokami: plik1: abc|123|BNY|apple| cab|234|cyx|orange| def|kumar|pki|bird| plik 2: abc|123| kumar|pki| cab|234 Chciałbym porównać dwie pierwsze kolumny pliku 2 z plikiem 1 (przeszukaj całą zawartość pliku 1 w pierwszych dwóch kolumnach), jeśli pasują, wydrukuj dopasowaną linię pliku 1. …

16 shell-script  text-processing  perl 

Chcę zacząć grepowanie od linii, które mają CKna końcu linii, a przestać grepowanie, gdy linia ma Dna końcu. Próbowałem grep "$CK" "$D" file..txt, ale to nie zadziałało. Wejście: kkkkkkkkkkk jjjjjjjjjjjjjjjjjj gggggggggggg/CK JHGHHHHHHHH HJKHKKLKLLL JNBHBHJKJJLKKL JLKKKLLKJLKJ/D GGGGGGGGGGGGGG GGGGGGGGGGGGGG Pożądana moc wyjściowa: gggggggggggg/CK JHGHHHHHHHH HJKHKKLKLLL JNBHBHJKJJLKKL JLKKKLLKJLKJ/D

16 text-processing  sed  awk  grep 

Mam plik tekstowy o nazwie, entry.txtktóry zawiera następujące elementy: [ entry1 ] 1239 1240 1242 1391 1392 1394 1486 1487 1489 1600 1601 1603 1657 1658 1660 2075 2076 2078 2322 2323 2325 2740 2741 2743 3082 3083 3085 3291 3292 3294 3481 3482 3484 3633 3634 3636 3690 3691 …

16 text-processing 

Moje pytanie jest podobne do tego pytania, ale ma kilka różnych ograniczeń: Mam dużą \nograniczoną listę słów - jedno słowo w wierszu. Rozmiar plików wynosi od 2 GB do nawet 10 GB. Muszę usunąć wszelkie zduplikowane linie. Proces może sortować listę podczas usuwania duplikatów, ale nie jest to wymagane. Na …

16 linux  text-processing  uniq 

Szukam sposobu, aby wyświetlić listę wszystkich plików w katalogu zawierającym pełny zestaw słów kluczowych, których szukam, w dowolnym miejscu pliku. Tak więc słowa kluczowe nie muszą pojawiać się w tym samym wierszu. Jednym ze sposobów na to byłoby: grep -l one $(grep -l two $(grep -l three *)) Trzy słowa …

16 shell  text-processing  awk  grep  find 

Mam długo działające polecenie, które generuje dużo danych wyjściowych na standardowym wyjściu. Chciałbym być w stanie zatrzymać na przykład tylko ostatnie trzy dni lub ostatni gibibajt (unikając wycinania linii na środku) i, jeśli to możliwe, w kawałkach plików nie większych niż 20 MiB. Każda porcja pliku jest nazywana sufiksem numerycznym …

16 text-processing  logs  utilities 

jak wydrukować linię na wypadek, gdyby pierwsze pole zaczynało się od Linuksa1 na przykład: echo Linux1_ver2 12542 kernel-update | awk '{if ($1 ~ Linux1 ) print $0;}' celem jest wydrukowanie linii, podczas gdy pierwsze pole zaczyna się od Linuksa1 przykład linii: Linux1-new 36352 Version:true Linux1-1625543 9847 Linux1:16254 8467563 Uwaga - …

16 text-processing  awk 

Biorąc pod uwagę taki plik First,Last,Age Cory,Klein,27 John Jacob,Smith,30 Czy istnieje narzędzie wiersza polecenia do transponowania zawartości, aby dane wyjściowe wyglądały tak First,Cory,John Jacob Last,Klein,Smith Age,27,30

16 text-processing  csv 

Jak wszyscy wiemy, sedjest wielce skuteczny, aby znaleźć i zastąpić ciąg, na przykład znaleziska „A” i zastąpienie go do „B” sed 's/a/b/g'. Czy można to zrobić za pomocą innego polecenia lub skryptu powłoki zamiast sed? Dotyczy to przyciętych systemów Linux dla telewizorów, które nie mają sedpolecenia. Więc muszę użyć innych …

16 shell  text-processing 

Następujące polecenie powłoki miało wypisywać tylko nieparzyste linie strumienia wejściowego: echo -e "aaa\nbbb\nccc\nddd\n" | (while true; do head -n 1; head -n 1 >/dev/null; done) Ale zamiast po prostu drukuje pierwszą linię: aaa. To samo nie dzieje się, gdy jest używane z opcją -c( --bytes): echo 12345678901234567890 | (while true; …

15 shell-script  text-processing  pipe  utilities  head 

Mam ± 10 000 plików ( res.1- res.10000), wszystkie składające się z jednej kolumny i równej liczby wierszy. To, czego chcę, jest w gruncie rzeczy proste; scal wszystkie pliki kolumnowo w nowy plik final.res. Próbowałem użyć: paste res.* Jednak (choć to wydaje się działać dla małego podzbioru plików wynikowych, to …

15 command-line  text-processing  columns  paste 

Mam plik zawierający to: 1415602803,LOGIN SUCCESS,AUTH,user2,192.168.203.63,10.146.124.73,59996,22 1415602807,LOGIN SUCCESS,AUTH,user1,172.24.31.10,172.32.1.1,48191,22 1415602811,LOGIN FAILED,AUTH,root,172.24.166.153,10.146.124.73,52506,22 1415602815,LOGIN FAILED,AUTH,user3,192.168.123.55,10.146.32.99,55750,22 Chcę przekonwertować znacznik czasu na datę w tym formacie: 2014-11-10 02:00:03,LOGIN SUCCESS,AUTH,user2,192.168.203.63,10.146.124.73,59996,22 2014-11-10 02:00:07,LOGIN SUCCESS,AUTH,user1,172.24.31.10,172.32.1.1,48191,22 2014-11-10 02:00:11,LOGIN FAILED,AUTH,root,172.24.166.153,10.146.124.73,52506,22 2014-11-10 02:00:15,LOGIN FAILED,AUTH,user3,192.168.123.55,10.146.32.99,55750,22 Jak mogę to zrobić? Wiem, że to działa: perl -pe 's/(\d+)/localtime($1)/e'(z tego pytania ), ale format wyjściowy …

15 text-processing  awk  perl