Rekurencyjne zliczanie plików w katalogu Linux

Jak rekurencyjnie liczyć pliki w katalogu Linux?

Znalazłem to:

find DIR_NAME -type f ¦ wc -l

Ale gdy go uruchomię, zwraca następujący błąd.

find: ścieżki muszą poprzedzać wyrażenie: ¦

To powinno działać:

find DIR_NAME -type f | wc -l

Wyjaśnienie:

• -type f zawierać tylko pliki.
• |( i nie¦ ) przekierowuje findstandardowe wyjście wcpolecenia na standardowe wejście polecenia.
• wc(skrót od liczby słów) zlicza nowe wiersze, słowa i bajty na wejściu ( docs ).
• -l policzyć tylko nowe linie.

Uwagi:

• Wymień DIR_NAMEsię ., aby wykonać polecenie w bieżącym folderze.
• Możesz również usunąć, -type faby uwzględnić katalogi (i dowiązania symboliczne) w liczeniu.
• Możliwe, że to polecenie zostanie przeliczone, jeśli nazwy plików mogą zawierać znaki nowej linii.

Wyjaśnienie, dlaczego twój przykład nie działa:

W poleceniu, które pokazałeś, nie używasz „Pipe” ( |) do łączenia dwóch poleceń, ale zepsuty pasek ( ¦), którego powłoka nie rozpoznaje jako polecenia lub czegoś podobnego. Dlatego pojawia się ten komunikat o błędzie.

Dla bieżącego katalogu:

find -type f | wc -l

Jeśli potrzebujesz podziału na liczbę plików w każdym katalogu w bieżącym katalogu:

for i in */ .*/ ; do 
    echo -n $i": " ; 
    (find "$i" -type f | wc -l) ; 
done

Oczywiście wszystko to może przebiegać w jednej linii. Nawiasy wyjaśniają, czyje wyjście wc -lma być obserwowane ( find $i -type fw tym przypadku).

Możesz użyć

$ tree

po zainstalowaniu pakietu drzewa za pomocą

$ sudo apt-get install tree

(na komputerze z systemem Linux Debian / Mint / Ubuntu).

Polecenie pokazuje osobno nie tylko liczbę plików, ale także liczbę katalogów. Opcji -L można użyć do określenia maksymalnego poziomu wyświetlania (który domyślnie jest maksymalną głębokością drzewa katalogów).

Ukryte pliki można również dołączyć, podając -aopcję.

Na moim komputerze rsyncjest trochę szybszy niż find | wc -lw zaakceptowanej odpowiedzi:

$ rsync --stats --dry-run -ax /path/to/dir /tmp

Number of files: 173076
Number of files transferred: 150481
Total file size: 8414946241 bytes
Total transferred file size: 8414932602 bytes

Drugi wiersz ma liczbę plików, 150,481 w powyższym przykładzie. Jako bonus otrzymasz także całkowity rozmiar (w bajtach).

Uwagi:

• pierwszy wiersz to liczba plików, katalogów, dowiązań symbolicznych itp., dlatego jest większy niż drugi wiersz.
• --dry-run(lub -nopcja w skrócie) jest ważne, aby nie faktycznie przenieść pliki!
• Użyłem -xopcji „nie przekraczaj granic systemu plików”, co oznacza, że ​​jeśli ją /wykonasz i masz podłączone zewnętrzne dyski twarde, to policzy tylko pliki na partycji głównej.

Ponieważ nazwy plików w systemie UNIX mogą zawierać znaki nowej linii (tak, nowe linie), wc -lmogą liczyć zbyt wiele plików. Wydrukowałbym kropkę dla każdego pliku, a następnie policzyłem kropki:

find DIR_NAME -type f -printf "." | wc -c

Łącząc kilka odpowiedzi tutaj razem, najbardziej użytecznym rozwiązaniem wydaje się być:

find . -maxdepth 1 -type d -print0 |
xargs -0 -I {} sh -c 'echo -e $(find "{}" -printf "\n" | wc -l) "{}"' |
sort -n

Może obsługiwać dziwne rzeczy, takie jak nazwy plików, które zawierają nawiasy spacji, a nawet nowe linie. Sortuje również dane wyjściowe według liczby plików.

Możesz zwiększyć liczbę po, -maxdepthaby policzyć również podkatalogi. Pamiętaj, że może to potencjalnie zająć dużo czasu, szczególnie jeśli masz mocno zagnieżdżoną strukturę katalogów w połączeniu z dużą -maxdepthliczbą.

Jeśli chcesz wiedzieć, ile plików i podkatalogów istnieje z bieżącego katalogu roboczego, możesz użyć tego jednowierszowego

find . -maxdepth 1 -type d -print0 | xargs -0 -I {} sh -c 'echo -e $(find {} | wc -l) {}' | sort -n

Działa to w wersji GNU i po prostu pomija -e w poleceniu echo dla Linuksa BSD (np. OSX).

Jeśli chcesz uniknąć przypadków błędów, nie zezwalaj wc -lna wyświetlanie plików z nowymi liniami (które będą liczone jako 2+ plików)

np. rozważmy przypadek, w którym mamy jeden plik z jednym znakiem EOL

> mkdir emptydir && cd emptydir
> touch $'file with EOL(\n) character in it'
> find -type f
./file with EOL(?) character in it
> find -type f | wc -l
2

Ponieważ przynajmniej gnu wcwydaje się nie mieć opcji odczytu / zliczenia listy zakończonej zerem (oprócz pliku), najłatwiejszym rozwiązaniem byłoby po prostu nie przekazywanie jej nazw plików, ale statyczne wyjście za każdym razem, gdy plik zostanie znaleziony, np. w tym samym katalogu co powyżej

> find -type f -exec printf '\n' \; | wc -l
1

Lub jeśli findto obsługuje

> find -type f -printf '\n' | wc -l
1 

Możesz użyć polecenia ncdu. Rekurencyjnie policzy, ile plików zawiera katalog Linux. Oto przykład wyniku:

Ma pasek postępu, co jest wygodne, jeśli masz wiele plików:

Aby zainstalować go na Ubuntu:

sudo apt-get install -y ncdu

Benchmark: Użyłem https://archive.org/details/cv_corpus_v1.tar (380390 plików, 11 GB) jako folderu, w którym należy policzyć liczbę plików.

• find . -type f | wc -l: do ukończenia około 1m20s
• ncdu: do ukończenia około 1m20s

tree $DIR_PATH | tail -1

Przykładowe dane wyjściowe:

5309 katalogów, 2122 plików

Aby ustalić, ile plików znajduje się w bieżącym katalogu, włóż ls -1 | wc -l. To służy wcdo zliczenia liczby linii (-l)na wyjściu ls -1. Nie liczy plików dotfiles. Proszę to zanotowaćls -l (to jest „L” zamiast „1” jak w poprzednich przykładach), których użyłem w poprzednich wersjach tego HOWTO, faktycznie da ci liczbę plików o jeden większą niż faktyczna liczba. Dzięki Kam Nejad za ten punkt.

Jeśli chcesz liczyć tylko pliki i NIE zawierasz dowiązań symbolicznych (tylko przykład tego, co jeszcze możesz zrobić), możesz użyć ls -l | grep -v ^l | wc -l(to tym razem „L”, a nie „1”, chcemy tutaj „długiej” listy) . grepsprawdza każdą linię zaczynającą się na „l” (wskazującą łącze) i odrzuca tę linię (-v).

Szybkość względna: „ls -1 / usr / bin / | wc -l” zajmuje około 1,03 sekundy na nieobciążonym 486SX25 (/ usr / bin / na tym komputerze ma 355 plików). „ ls -l /usr/bin/ | grep -v ^l | wc -l” zajmuje około 1,19 sekundy.

Źródło: http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x700.html

Jeśli potrzebujesz rekurencyjnie policzyć określony typ pliku , możesz:

find YOUR_PATH -name '*.html' -type f | wc -l 

-l służy tylko do wyświetlenia liczby linii na wyjściu.

Z uderzeniem:

Utwórz tablicę wpisów za pomocą () i uzyskaj liczbę za pomocą #.

FILES=(./*); echo ${#FILES[@]}

Ok, nie rekurencyjnie liczę plików, ale najpierw chciałem pokazać prostą opcję. Typowym przypadkiem użycia może być tworzenie kopii zapasowych najazdu pliku. Spowoduje to utworzenie logfile.1, logfile.2, logfile.3 itd.

CNT=(./logfile*); mv logfile logfile.${#CNT[@]}

Liczba rekurencyjna przy globstarwłączonej wersji bash 4+ (jak wspomniano w @tripleee)

FILES=(**/*); echo ${#FILES[@]}

Aby rekurencyjnie uzyskać liczbę plików, nadal możemy używać find w ten sam sposób.

FILES=(`find . -type f`); echo ${#FILES[@]}

W przypadku katalogów ze spacjami w nazwie ... (na podstawie różnych odpowiedzi powyżej) - rekurencyjnie wypisz nazwę katalogu z liczbą plików w:

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done

Przykład (sformatowany dla czytelności):

pwd
  /mnt/Vancouver/Programming/scripts/claws/corpus

ls -l
  total 8
  drwxr-xr-x 2 victoria victoria 4096 Mar 28 15:02 'Catabolism - Autophagy; Phagosomes; Mitophagy'
  drwxr-xr-x 3 victoria victoria 4096 Mar 29 16:04 'Catabolism - Lysosomes'

ls 'Catabolism - Autophagy; Phagosomes; Mitophagy'/ | wc -l
  138

## 2 dir (one with 28 files; other with 1 file):
ls 'Catabolism - Lysosomes'/ | wc -l
  29

Struktura katalogów jest lepiej wizualizowana za pomocą tree:

tree -L 3 -F .
  .
  ├── Catabolism - Autophagy; Phagosomes; Mitophagy/
  │   ├── 1
  │   ├── 10
  │   ├── [ ... SNIP! (138 files, total) ... ]
  │   ├── 98
  │   └── 99
  └── Catabolism - Lysosomes/
      ├── 1
      ├── 10
      ├── [ ... SNIP! (28 files, total) ... ]
      ├── 8
      ├── 9
      └── aaa/
          └── bbb

  3 directories, 167 files

man find | grep mindep
  -mindepth levels
    Do not apply any tests or actions at levels less than levels
    (a non-negative integer).  -mindepth 1 means process all files
    except the starting-points.

ls -p | grep -v /(użyte poniżej) pochodzi z odpowiedzi 2 na /unix/48492/list-only-regular-files-but-not-directories-in-current-directory

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done
./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
./Catabolism - Lysosomes: 28
./Catabolism - Lysosomes/aaa: 1

Zastosowanie: Chcę znaleźć maksymalną liczbę plików spośród kilkuset katalogów (cała głębokość = 1) [dane wyjściowe ponownie sformatowane dla czytelności]:

date; pwd
    Fri Mar 29 20:08:08 PDT 2019
    /home/victoria/Mail/2_RESEARCH - NEWS

time find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done > ../../aaa
    0:00.03

[victoria@victoria 2_RESEARCH - NEWS]$ head -n5 ../../aaa
    ./RNA - Exosomes: 26
    ./Cellular Signaling - Receptors: 213
    ./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
    ./Stress - Physiological, Cellular - General: 261
    ./Ancient DNA; Ancient Protein: 34

[victoria@victoria 2_RESEARCH - NEWS]$ sed -r 's/(^.*): ([0-9]{1,8}$)/\2: \1/g' ../../aaa | sort -V | (head; echo ''; tail)

    0: ./Genomics - Gene Drive
    1: ./Causality; Causal Relationships
    1: ./Cloning
    1: ./GenMAPP 2
    1: ./Pathway Interaction Database
    1: ./Wasps
    2: ./Cellular Signaling - Ras-MAPK Pathway
    2: ./Cell Death - Ferroptosis
    2: ./Diet - Apples
    2: ./Environment - Waste Management

    988: ./Genomics - PPM (Personalized & Precision Medicine)
    1113: ./Microbes - Pathogens, Parasites
    1418: ./Health - Female
    1420: ./Immunity, Inflammation - General
    1522: ./Science, Research - Miscellaneous
    1797: ./Genomics
    1910: ./Neuroscience, Neurobiology
    2740: ./Genomics - Functional
    3943: ./Cancer
    4375: ./Health - Disease 

sort -Vjest rodzajem naturalnym. ... Tak więc moja maksymalna liczba plików w dowolnym z tych katalogów (Claws Mail) to 4375 plików. Jeśli zostawię lewy pad ( https://stackoverflow.com/a/55409116/1904943 ) te nazwy plików - wszystkie są nazwane numerycznie, zaczynając od 1, w każdym katalogu - i pad do 5 cyfr łącznie, powinienem być w porządku .

Uzupełnienie

Znajdź całkowitą liczbę plików, podkatalogów w katalogu.

$ date; pwd
Tue 14 May 2019 04:08:31 PM PDT
/home/victoria/Mail/2_RESEARCH - NEWS

$ ls | head; echo; ls | tail
Acoustics
Ageing
Ageing - Calorie (Dietary) Restriction
Ageing - Senescence
Agriculture, Aquaculture, Fisheries
Ancient DNA; Ancient Protein
Anthropology, Archaeology
Ants
Archaeology
ARO-Relevant Literature, News

Transcriptome - CAGE
Transcriptome - FISSEQ
Transcriptome - RNA-seq
Translational Science, Medicine
Transposons
USACEHR-Relevant Literature
Vaccines
Vision, Eyes, Sight
Wasps
Women in Science, Medicine

$ find . -type f | wc -l
70214    ## files

$ find . -type d | wc -l
417      ## subdirectories

Napisałem ffcnt aby przyspieszyć liczenie plików rekurencyjnych w określonych okolicznościach: dyski obrotowe i systemy plików, które obsługują mapowanie zasięgu.

Może to być rząd wielkości szybszy niż lslub findpodejście oparte, ale YMMV.

Tutaj jest wiele poprawnych odpowiedzi. Oto kolejny!

find . -type f | sort | uniq -w 10 -c

gdzie .jest folder do przeszukania i 10liczba znaków, według której należy pogrupować katalog.

znajdź -type f | wc -l

LUB (jeśli katalog jest katalogiem bieżącym)

odnaleźć . -typ f | wc -l

To zadziała całkowicie dobrze. Prosty krótki. Jeśli chcesz policzyć liczbę plików obecnych w folderze.

ls | wc -l

To alternatywne podejście z filtrowaniem formatu liczy wszystkie dostępne moduły jądra grub:

ls -l /boot/grub/*.mod | wc -l

ls -l | grep -e -x -e -dr | wc -l 

1. długa lista
2. filtruj pliki i katalogi
3. policz przefiltrowaną linię nr