Jak łatwo skopiować 502 000 miniatur z jednego dysku twardego VPS na inny?

W przypadku projektu uniwersyteckiego pracuję nad usługą internetową, która indeksuje określone obrazy i pokazuje je w interfejsie.

Teraz natrafiłem na mały problem ze skalowalnością: dysk SSD VPS o pojemności 150 GB jest pełny. Na szczęście udało mi się uzyskać dysk twardy o pojemności 1 TB z tym samym dostawcą hostingu, który jest montowany za pomocą webDAV.

Jednak mam teraz problem z przeniesieniem tych plików 501974 do nowej lokalizacji. Oczywiście wolałbym, aby sam interfejs się nie zepsuł, więc moim pomysłem jest:

Skopiuj zdjęcia do nowej lokalizacji.
Zmień nazwę bieżącego katalogu i podaj dowiązanie symboliczne do nowej lokalizacji jego starą nazwę.
Usuń stary katalog.

Jednak rzeczywisty krok kopiowanie trwa wiecznie użyciu cp. Próbowałem także, rsync -zPale trwa to tak długo (trwało wiele godzin przed zawieszeniem), że sesja powłoki zrywa się wcześniej.

Czy istnieje inny, inteligentniejszy sposób kopiowania / przenoszenia tak dużej liczby plików do nowej lokalizacji na innym dysku twardym?

Na VPS działa Ubuntu 16.

— Qqwy
źródło

Czy oba dyski są na tym samym komputerze?

— LPChip

@LPChip Oba są dostępne za pośrednictwem wiersza polecenia. Myślę, że są w tym samym centrum danych, ale prawdopodobnie nie w tym samym fizycznym komputerze. Nowy dysk twardy 1 TB jest montowany przy użyciu ustawienia webDAV w fstab.

— Qqwy,

Kopiowanie 150 GB danych będzie długie. Sprawdź swoją szybkość z IO iostat/ dstatlub cokolwiek, można obliczyć szacunkową jak długo. Pytanie brzmi: dlaczego twoja sesja powłoki pęka podczas kopiowania ... (być może musisz najpierw przenieść mniejszą liczbę plików, jeśli na dysku brakuje miejsca na pliki dziennika itp.)?

— dirkt

W rzeczywistości skopiowanie 500 000 plików przez WebDAV i tak zajmie dużo czasu, tylko z powodu narzutu. Czy twój dostawca nie ma funkcji importowania zbiorczego, w której możesz po prostu przesłać pojedynczy plik tar.gz?

— mtak