Wkrótce będę miał folder z tysiącami plików, każdy plik rzędu kilku KB. Będę musiał przenieść je przez sieć Windows z jednego udziału UNC do drugiego. Zasadniczo, czy szybciej jest po prostu skopiować pliki masowo, czy też szybciej byłoby je skompresować (np. Używając 7zip w trybie najszybszym) i wysłać jeden lub kilka dużych plików? Czy nie ma różnicy w praktyce?
Odpowiedzi:
Szybsze jest przesyłanie pojedynczego dużego pliku zamiast wielu małych plików ze względu na narzut związany z negocjowaniem transferu. Negocjacja jest wykonywana dla każdego pliku, więc przesłanie pojedynczego pliku musi być wykonane raz, przesłanie n plików oznacza, że należy to zrobić n razy.
Zaoszczędzisz sobie dużo czasu, jeśli najpierw spakujesz zip przed transferem.
Jon Cahill ma rację, pojedynczy plik będzie szybszy. Należy jednak pamiętać, że w przypadku niestabilności połączenia poszczególne pliki (lub średnie grupy w plikach zip) mogą być lepsze, ponieważ jeśli transfer się nie powiedzie, musisz zacząć od nowa, podczas gdy z wieloma pliki będą musiały ponownie wykonać ostatnio uruchomiony plik
Dużo małych plików będzie również droższych do zapisu do systemu plików niż pojedynczy duży plik. Musi robić takie rzeczy jak:
Ponieważ coraz więcej plików w katalogu może być dość kosztowne. Każdy z tych kroków może zwiększyć opóźnienie procesu kopiowania i spowolnić proces.
Średni rozmiar pakietu w stosunku do średniego rozmiaru pliku ma prawdopodobnie tutaj kluczowe znaczenie. Z dużą ilością małych plików możesz wysyłać wiele małych pakietów. Małe pakiety nadal obciążają TCP; w rezultacie możesz podwoić natężenie ruchu.
Nowoczesne systemy, a nawet stosunkowo stare, mogą wysyłać wiele plików za pomocą jednego połączenia TCP, unikając kosztów tego uścisku dłoni.
Warto również pamiętać, że wybór protokołu wpływa na całkowity czas ukończenia - na przykład przesyłanie plików FTP z jednego hosta do drugiego może być zauważalnie szybsze niż korzystanie z udostępniania plików w systemie Windows (oczywiście rzeczy takie jak uprawnienia domeny i tym podobne są również zgubiony, ale w niektórych sytuacjach może to być akceptowalny kompromis - w końcu zostaną one również utracone przez skompresowanie / rozpakowanie)