Kopiowanie dużej liczby plików z jednego katalogu do drugiego w systemie Linux

Mam katalog zawierający około 280 000 plików. Chcę przenieść je do innego katalogu.

Jeśli użyję cplub mvdostanę błąd, „lista argumentów jest za długa”.

Jeśli napiszę skrypt

for file in ls *; do
   cp {source} to {destination} 
done

następnie, z powodu lspolecenia, jego wydajność spada.

Jak mogę to zrobić?

Użyj rsync :

$ rsync -a {source}/ {destination}/

na przykład

$ rsync -a /some/path/to/src/ /other/path/to/dest/

(zwróć uwagę na końcowe)

W odpowiedziach brakuje mi dwóch wahań, więc dodaję jeszcze jeden.

Chociaż przypomina mi to dodanie kolejnej standardowej odpowiedzi ...

Istnieją tutaj dwa problemy:

Mam katalog zawierający około 280 000 plików.

Większość narzędzi nie skaluje się tak dobrze przy tej liczbie plików. Nie tylko większość narzędzi Linuksa lub Windows, ale sporo programów. I może to obejmować twój system plików. Długoterminowym rozwiązaniem byłoby „dobrze, nie rób tego wtedy”. Jeśli masz różne pliki, ale w różnych katalogach. Jeśli nie, możesz spodziewać się kolejnych problemów.

Powiedziawszy to, przejdźmy do rzeczywistego problemu:

Jeśli użyję cp lub mv, pojawia się błąd „lista argumentów jest za długa”

Jest to spowodowane rozszerzeniem * przez powłokę. Powłoka ma ograniczone miejsce na wynik i kończy się. Oznacza to, że każde polecenie z *rozszerzeniem przez powłokę napotka ten sam problem. Będziesz musiał albo rozwinąć mniej opcji w tym samym czasie, albo użyć innego polecenia.

Jednym z nich jest często używane alternatywne polecenie find. Jest już kilka odpowiedzi pokazujących, jak z niego korzystać, więc nie zamierzam tego wszystkiego powtarzać. Zwrócę jednak uwagę na różnicę między, \;a +ponieważ może to mieć ogromną różnicę w wydajności i ładnie przyłączyć się do poprzedniego wyjaśnienia dotyczącego rozszerzenia.

find /path/to/search --name "*.txt" -exec command {} \;

Znajduje wszystkie pliki w ścieżce / to / search / i wykonuje z nim polecenie, ale zwraca uwagę na cudzysłów wokół *. To podaje * do polecenia. Gdybyśmy go nie zamknęli ani nie uciekli, powłoka spróbowałaby go rozwinąć i otrzymalibyśmy ten sam błąd.

Na koniec chcę wspomnieć o {}. Te nawiasy zastępowane są treścią znalezioną przez find. Jeśli zakończysz polecenie średnikiem ;(takim, który musisz uciec z powłoki, stąd \;w przykładach), wówczas wyniki są przekazywane jeden po drugim. Oznacza to, że wykonasz komendy 280000 mv. Jeden na każdy plik. To może być powolne.

Alternatywnie możesz zakończyć +. To przekaże jak najwięcej argumentów jednocześnie. Jeśli bash może obsłużyć 2000 argumentów, to find / path -name "* filetype" -exec some_move {} + wywoła komendę some_move około 140 razy, za każdym razem z 2000 argumentami. To jest bardziej wydajne (czytaj: szybciej).

Nie potrzebujesz ls, możesz po prostu użyć

for file in *; do
    cp $file /your/dest
done

lub możesz zrobić coś takiego:

echo * | xargs -i cp {} /your/dest

#!/bin/bash
d=$(date +%Y%m%d%H%m%s)
cd /path
tar zcvf "/destination/bakup_${d}.tar.gz" mydirectory_for_transer

Zakładając, że chcesz przenieść pliki w tym samym systemie plików, możesz po prostu zmienić nazwę katalogu zawierającego twoje LACS i gotowe.

Lubię rsyncto lub:

find dir1 -type f -exec cp {} dir2 \;

Co powiesz na przenoszenie (zamiast kopiowania):

$ find {origin}/ -maxdepth 1 -name "*" -o -name ".*" -exec mv '{}'  {destination}/ ';'

Myślę, że to się zmieni, zachowując strukturę (podkatalogi) i ukryte pliki lub katalogi, a także nie zajmując dodatkowego miejsca, jak w przypadku rsync + rm. A jeśli {origin} i {destination} są na tej samej partycji, będzie szybciej.

Używanie tar:

(cd {origin}; tar cf - .)|(cd {destination}; tar xvf -)

Działa, aby zacząć wszystko, gdy początkowo początkowo jest za duże dla rsync, ale delta nie są.

W moim przypadku, zarówno cpi rsyncbyły zbyt powolne kopiowanie około 4 milionów plików z HDD na SSD, więc oto jak poszedłem o tym (wszystkie moje pliki były .txt pliki w tym samym folderze, więc dostosować finddo potrzeb klienta):

cd /path/to/source/folder
find . -name '*.txt' -print >/tmp/test.manifest
tar -c -T /tmp/test.manifest | (cd /path/to/destination/folder; tar xfp -)

Musiałem wydrukować nazwy plików do pliku tymczasowego, ponieważ trafiłem w Argument list too longbłąd. Używając tarznacznie poprawionych moich prędkości przesyłania, chociaż mogę założyć, że pliki, które są trudniej skompresowane, mogą nie działać tak dobrze.