Skutecznie usuń duży katalog zawierający tysiące plików

Mamy problem z nieporęcznym folderem z setkami tysięcy małych plików.

Jest tak wiele plików, że wykonanie rm -rfzwraca błąd, a zamiast tego musimy zrobić coś takiego:

find /path/to/folder -name "filenamestart*" -type f -exec rm -f {} \;

Działa to, ale jest bardzo wolne i ciągle kończy się brak pamięci.

Czy jest na to lepszy sposób? Idealnie chciałbym usunąć cały katalog bez dbania o zawartą w nim zawartość.

Korzystanie z rsync jest zaskakująco szybkie i proste.

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

Odpowiedź @ Sarath wspomniała o innym szybkim wyborze: Perl! Jego testy porównawcze są szybsze niż rsync -a --delete.

cd yourdirectory
perl -e 'for(<*>){((stat)[9]<(unlink))}'

Źródła:

1. https://stackoverflow.com/questions/1795370/unix-fast-remove-directory-for-cleaning-up-daily-builds
2. http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

Ktoś na Twitterze zasugerował użycie -deletezamiast-exec rm -f{} \;

To poprawiło efektywność polecenia, ale wciąż używa rekurencji, aby przejść przez wszystko.

Co powiesz na coś takiego: find /path/to/folder -name "filenamestart*" -type f -print0 | xargs -0rn 20 rm -f

Możesz ograniczyć liczbę plików do usunięcia jednocześnie, zmieniając argument parametru -n. Uwzględniono także nazwy plików ze spacjami.

Sprytna sztuczka:

rsync -a --delete empty/ your_folder/

Jest bardzo intensywny, ale bardzo szybki. Zobacz https://web.archive.org/web/20130929001850/http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.html

Rozwijając jeden z komentarzy, nie sądzę, że robisz to, co myślisz.

Najpierw stworzyłem ogromną liczbę plików, aby zasymulować twoją sytuację:

$ mkdir foo
$ cd foo/
$ for X in $(seq 1 1000);do touch {1..1000}_$X; done

Potem spróbowałem tego, czego się nie spodziewałem i co brzmi jak robisz w pytaniu:

$ rm -r foo/*
bash: /bin/rm: Argument list too long

Ale to czyni pracę:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Miałem okazję przetestować -deletew porównaniu do -exec rm \{\} \;i dla mnie -deletebyła odpowiedzią na ten problem.

Za pomocą -deleteusuniętych plików w folderze 400 000 plików co najmniej 1000 razy szybciej niż rm.

Artykuł „Jak usunąć dużą liczbę plików w systemie Linux” sugeruje, że jest on około trzy razy szybszy, ale w moim teście różnica była znacznie bardziej dramatyczna.

O -deletepowyższej opcji: używam jej do usuwania dużej liczby (1M + est) plików w folderze tymczasowym, który utworzyłem i mimowolnie zapomniałem co noc czyścić. Przypadkowo zapełniłem mój dysk / partycję i nic więcej nie mogło ich usunąć oprócz find .polecenia. Jest wolny, początkowo używałem:

find . -ls -exec rm {} \;

Ale zajęło to NIEZWYKLE czasu. Zaczęło się po około 15 minutach, aby usunąć niektóre pliki, ale domyślam się, że usuwało mniej niż 10 na sekundę po tym, jak w końcu się zaczęło. Próbowałem więc:

find . -delete

zamiast tego i pozwalam mu działać teraz. Wygląda na to, że działa szybciej, chociaż BARDZO obciąża procesor, czego nie było inne polecenie. Działa już od godziny i myślę, że odzyskuję miejsce na dysku, a partycja stopniowo „odchudza się”, ale wciąż zajmuje to bardzo dużo czasu. Poważnie wątpię, że działa 1000 razy szybciej niż inne. Jak we wszystkich rzeczach, chciałem tylko zwrócić uwagę na kompromis w przestrzeni w czasie. Jeśli masz do dyspozycji przepustowość procesora (my), uruchom drugą. Uruchomił mój procesor ( uptimeraporty):

10:59:17 up 539 days, 21:21,  3 users,  load average: 22.98, 24.10, 22.87

Zauważyłem, że średnia wartość obciążenia przekracza 30,00, co nie jest dobre dla zajętego systemu, ale dla naszego, który jest zwykle lekko obciążony, jest OK przez kilka godzin. Sprawdziłem większość innych rzeczy w systemie i one wciąż reagują, więc na razie jesteśmy w porządku.

Istnieje kilka metod usuwania dużej liczby plików w systemie Linux. Możesz użyć opcji Znajdź z opcją usuwania, która jest szybsza niż opcja exec. Następnie możesz użyć perla unlink, a nawet rsync. Jak usunąć dużą liczbę plików w systemie Linux

Rozważ użycie woluminu Btrfs i po prostu usuń cały wolumin dla takiego katalogu z dużą liczbą plików.

Alternatywnie możesz utworzyć plik obrazu FS, a następnie odmontować i usunąć jego plik, aby usunąć wszystko na raz naprawdę szybko.

Zakładając, że mam parallelzainstalowany GNU , użyłem tego:

parallel rm -rf dir/{} ::: `ls -f dir/`

i było wystarczająco szybko.

Usuwanie NAPRAWDĘ DUŻYCH katalogów wymaga innego podejścia, jak dowiedziałem się z tej strony - będziesz musiał użyć ionice. Zapewnia to (przy -c3), że usuwanie zostanie wykonane tylko wtedy, gdy system ma na to czas IO. Obciążenie systemu nie wzrośnie i wszystko pozostanie responsywne (chociaż mój czas procesora na znalezienie był dość wysoki i wynosił około 50%).

find <dir> -type f -exec ionice -c3 rm {} \;

ls -1 | xargs rm -rf 

powinien działać w folderze głównym

Za wskazówkę Izkaty powyżej:

Ale to czyni pracę:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

To prawie działało - lub by działało - ale miałem pewne problemy z pozwoleniem; pliki znajdowały się na serwerze, ale nadal nie rozumiem, skąd wziął się ten problem z uprawnieniami. W każdym razie Terminal poprosił o potwierdzenie każdego pliku. Liczba plików wynosiła około 20 000, więc nie było takiej opcji. Po „-r” dodałem opcję „-f”, więc całe polecenie brzmiało „ rm -r -f nazwa_folderu / ”. Potem wydawało się, że działa dobrze. Jestem nowicjuszem w Terminalu, ale myślę, że to było w porządku, prawda? Dzięki!

W zależności od tego, jak dobrze musisz pozbyć się tych plików, sugeruję użycie shred.

$ shred -zuv folder

jeśli chcesz wyczyścić katalog, ale nie możesz go usunąć i odtworzyć, sugeruję przeniesienie go i odtworzenie go natychmiast.

mv folder folder_del
mkdir folder
rm -rf folder_del

jest to szybsze, wierzcie lub nie, ponieważ trzeba zmienić tylko jeden i-węzeł. Pamiętaj: tak naprawdę nie można zrównoważyć tego smaku na komputerze wielordzeniowym. Sprowadza się to do dostępu do dysku, który jest ograniczony przez macierz RAID lub to, co masz.

Jeśli masz miliony plików i każde powyższe rozwiązanie powoduje stres w systemie, możesz spróbować inspiracji:

Plik nice_delete:

#!/bin/bash

MAX_LOAD=3
FILES=("$@")
BATCH=100

while [ ${#FILES[@]} -gt 0 ]; do
    DEL=("${FILES[@]:0:$BATCH}")
    ionice -c3 rm "${DEL[@]}"
    echo -n "#"
    FILES=("${FILES[@]:$BATCH}")
    while [[ $(cat /proc/loadavg | awk '{print int($1)}') -gt $MAX_LOAD ]]; do
        echo -n "."
        sleep 1
    done
done

A teraz usuń pliki:

find /path/to/folder -type f -exec ./nice_delete {} \+

Find utworzy partie (patrz getconf ARG_MAX) kilkudziesięciu tysięcy plików i przekaże je nice_delete. Spowoduje to utworzenie jeszcze mniejszych partii, aby umożliwić spanie po wykryciu przeciążenia.

Jeśli chcesz pozbyć się wielu plików tak szybko, jak to możliwe, ls -f1 /path/to/folder/with/many/files/ | xargs rmmoże działać dobrze, ale lepiej nie uruchamiaj ich w systemach produkcyjnych, ponieważ w systemie mogą wystąpić problemy z operacjami we / wy, a aplikacje mogą utknąć podczas operacji usuwania.

Ten skrypt działa dobrze dla wielu plików i nie powinien wpływać na ioload systemu.

#!/bin/bash

# Path to folder with many files
FOLDER="/path/to/folder/with/many/files"

# Temporary file to store file names
FILE_FILENAMES="/tmp/filenames"

if [ -z "$FOLDER" ]; then
    echo "Prevented you from deleting everything! Correct your FOLDER variable!"
    exit 1
fi

while true; do
    FILES=$(ls -f1 $FOLDER | wc -l)
    if [ "$FILES" -gt 10000 ]; then
        printf "[%s] %s files found. going on with removing\n" "$(date)" "$FILES"
        # Create new list of files
        ls -f1 $FOLDER | head -n 5002 | tail -n 5000 > "$FILE_FILENAMES"

        if [ -s $FILE_FILENAMES ]; then
            while read FILE; do
                rm "$FOLDER/$FILE"
                sleep 0.005
            done < "$FILE_FILENAMES"
        fi
    else
        printf "[%s] script has finished, almost all files have been deleted" "$(date)"
        break
    fi
    sleep 5
done