Szybkość transferu przez sieć szybciej niż z samego serwera Ubuntu 14.04

Mam serwer domowy o niskiej mocy 800 MHz 2 procesory z systemem Ubuntu 14.04 LTS. Podłączyłem zewnętrzny dysk twardy USB 3.0 o pojemności 5 TB i uzyskuję średnią prędkość odczytu 30 MB + / s za pomocą hdparm -t --direct.

Mój problem polega na tym, że gdy kopiuję za pomocą Pythona shutil.move lub mv z samego serwera, otrzymuję tylko około 1 MB lub mniej na sekundę, bardzo rzadko rośnie. Ale na tym samym dysku współdzielonym przez SMB może wzrosnąć do 7 + MB / s, ale średnio około 4-5 MB / s.

Czego tu brakuje? Wygląda więc na to, że USB może przesyłać dane, ponieważ przechodzi przez to samo połączenie USB.

Cała prędkość wyrażona jest w megabajtach na sekundę.

Uwaga : Transfer, który wynosi 1 MB lub mniej na sekundę, pochodzi z dysku wewnętrznego (SSD) na dysk zewnętrzny podłączony do USB 3.0, ten sam dysk, na który jest zapisywany z sieci współdzielonej za pomocą SMB.

ubuntu samba python

— Faisal
źródło

Jeśli przenosisz się z partycji na inny na tym samym dysku, kopiujesz plik i używasz 2 razy tego samego kanału. Jeśli używasz mv na tej samej partycji, prawdopodobnie zmieniasz nazwę pliku (tak naprawdę tylko przenosisz numer i-węzła z listy na inną) tak szybko. Czy możesz wyjaśnić przelewy, o których mówisz?

— Hastur

Transfer, który wynosi 1 MB lub mniej na sekundę, pochodzi z dysku wewnętrznego (SSD) na dysk zewnętrzny podłączony do tego samego dysku USB 3.0, który jest zapisywany z sieci współdzielonej za pomocą SMB.

— Faisal

Spróbuj skopiować lub przenieść za pomocą rsync. Zmierzy prędkość transferu. Użyj nawet opcji dla rzadkich plików. Zaktualizuj swoje pytanie o wyniki.

— Hastur

Właśnie próbowałem z rsync --progress -avz i jego średnia prędkość jest taka sama jak SMB, około 4-5 MB / s. Po prostu użyję rsync w moim skrypcie. Nadal próbowałem tego ze zwykłym mv cp i pytonami shutil.move, było średnio 3 razy wolniejsze, właśnie mierzyłem czasem. Zmierzyłem to również przy użyciu zmian rozmiaru na dysku sieciowym. Dzięki

— Faisal

Może się to zdarzyć, jeśli musisz przenieść lub skopiować (lub z) jednego katalogu dużą liczbę plików (tysiące): dzieje się tak, ponieważ w tym przypadku wywołanie systemowe poniżej poleceń ls, cp i mv jest wolniejsze i nieefektywne, ponieważ jeden poniżej rsync. Mogę przypuszczać, że powinien istnieć ten sam lub podobny powód dla skryptu phyton vs samba. Ile plików mówimy? Zdarza się to nawet w przypadku jednego dużego pliku (nie buforowanego)? a dla OGROMNEGO? Podaj także informacje o typach systemów plików; powinni też grać swoje role :).

— Hastur