Znajdź całkowity rozmiar niektórych plików w gałęzi katalogu

Załóżmy, że istnieje katalog przechowywania obrazów, powiedzmy, ./photos/john_doew którym znajduje się wiele podkatalogów, w których znajduje się wiele określonych plików (powiedzmy *.jpg). Jak obliczyć rozmiar tych plików poniżej john_doegałęzi?

Próbowałem du -hs ./photos/john_doe/*/*.jpg, ale pokazuje tylko pojedyncze pliki. Ponadto śledzi to tylko pierwszy poziom zagnieżdżenia john_doekatalogu, podobnie jak john_doe/june/, ale przeskakuje john_doe/june/outrageous/.

Jak więc mógłbym przejść całą gałąź, sumując rozmiar niektórych plików?

find ./photos/john_doe -type f -name '*.jpg' -exec du -ch {} + | grep total$

Jeśli duwymagane jest więcej niż jedno wywołanie, ponieważ lista plików jest bardzo długa, zostanie zgłoszonych wiele sum i trzeba je zsumować.

du -ch public_html/images/*.jpg | grep total
20M total

daje mi całkowite wykorzystanie moich .jpgplików w tym katalogu.

Aby poradzić sobie z wieloma katalogami, prawdopodobnie musiałbyś findjakoś to połączyć .

Przydatne mogą być przykłady poleceń du (obejmuje to również find)

Przede wszystkim potrzebujesz dwóch rzeczy:

• -copcja du, aby poinformować go do produkcji ogólnej sumy;
• albo **( instrukcje aktywacją ) lub find( przykład ) lub przechodzić podkatalogów.

du -ch -- **/*.jpg | tail -n 1

Ostateczna odpowiedź to:

{ find <DIR> -type f -name "*.<EXT>" -printf "%s+"; echo 0; } | bc

i jeszcze szybsza wersja, nie ograniczona przez pamięć RAM, ale wymaga GNU AWK z obsługą bignum:

find <DIR> -type f -name "*.<EXT>" -printf "%s\n" | gawk -M '{t+=$1}END{print t}'

Ta wersja ma następujące funkcje:

• wszystkie możliwości findokreślania plików, których szukasz
• obsługuje miliony plików
  • inne odpowiedzi tutaj są ograniczone przez maksymalną długość listy argumentów
• spawnuje tylko 3 proste procesy przy minimalnej przepustowości rur
  • wiele odpowiedzi tutaj spawnuje procesy C + N, gdzie C jest pewną stałą, a N jest liczbą plików
• nie przeszkadza w manipulacji ciągami
  • ta wersja nie wykonuje grepowania ani wyrażeń regularnych
  • dobrze, findrobi proste dopasowanie wieloznaczny nazw plików
• opcjonalnie formatuje sumę w postaci czytelnej dla człowieka (np. 5.5K, 176.7M, ...)
  • aby to załączyć | numfmt --to=si

Odpowiedzi podane do tej pory nie biorą pod uwagę, że lista plików przekazywana z find na du może być tak długa, że ​​find automatycznie dzieli listę na części, co powoduje wielokrotne występowanie total.

Możesz albo grep total(locale!) I podsumować ręcznie, albo użyć innego polecenia. AFAIK są tylko dwa sposoby na uzyskanie całkowitej sumy (w kilobajtach) wszystkich plików znalezionych przez find:
find . -type f -iname '*.jpg' -print0 | xargs -r0 du -a| awk '{sum+=$1} END {print sum}'

Objaśnienie
find . -type f -iname '*.jpg' -print0: Znajdź wszystkie pliki z rozszerzeniem jpg bez względu na wielkość liter (tj. * .Jpg, * .JPG, * .Jpg ...) i wyślij je (zakończone zerem).
xargs -r0 du -a: -r: Xargs wywołałby polecenie nawet bez podania argumentów, co zapobiega -r. -0 oznacza łańcuchy zakończone znakiem null (nie zakończone znakiem nowej linii).
awk '{sum+=$1} END {print sum}': Zsumuj rozmiary plików wyjściowych za pomocą poprzedniego polecenia

Dla porównania, byłby inny sposób
find . -type f -iname '*.jpg' -print0 | du -c --files0-from=-

Jeśli lista plików jest zbyt duża, aby nie można jej było przekazać do pojedynczego wywołania du -c, w systemie GNU możesz wykonać:

find . -iname '*.jpg' -type f -printf '%b\t%D:%i\n' |
  sort -u | cut -f1 | paste -sd+ - | bc

(rozmiar wyrażony liczbą 512 bajtów bloków). Tak dujakby próbował policzyć twarde linki tylko raz. Jeśli nie zależy ci na linkach twardych, możesz uprościć to:

(printf 0; find . -iname '*.jpg' -type f -printf +%b) | bc

Jeśli chcesz rozmiar zamiast użycia dysku, wymień %bsię %s. Rozmiar zostanie wówczas wyrażony w bajtach.

Wspomniane rozwiązania są nieefektywne (wykonanie jest drogie) i wymagają dodatkowej pracy ręcznej, aby zsumować, jeśli lista plików jest długa lub nie działają w systemie Mac OS X. Poniższe rozwiązanie jest bardzo szybkie, powinno działać na każdym systemie i daje całkowitą odpowiedź w GB (usuń a / 1024, jeśli chcesz zobaczyć sumę w MB): find . -iname "*.jpg" -ls |perl -lane '$t += $F[6]; print $t/1024/1024/1024 . " GB"'

Ulepszając świetną odpowiedź SHW, aby działała z dowolnymi lokalizacjami, jak Zbyszek już zauważył w swoim komentarzu:

LC_ALL=C find ./photos/john_doe -type f -name '*.jpg' -exec du -ch {} + | grep total$

du oczywiście przegląda hierarchię katalogów, a awk może przeprowadzić filtrowanie, więc coś takiego może być wystarczające:

du -ak | awk 'BEGIN {sum=0} /\.jpg$/ {sum+=$1} END {print sum}'

Działa to bez GNU.