Nadal jestem uczniem Hadoopa dla początkujących i tym razem próbowałem przetworzyć plik o pojemności 106 GB. Kiedyś -copyFromLocalkopiowałem ten duży plik do mojego systemu plików Hadoop DFS, ale ponieważ plik jest duży, muszę długo czekać bez pojęcia o bieżącym stanie kopiowania.
Czy za pomocą tego polecenia można wyświetlić bieżący stan kopiowania plików?
Z góry dziękuję wam za pomoc!
Odpowiedzi:
CopyFromLocalnie ma możliwości wyświetlenia postępu kopiowania pliku. Alternatywnie możesz otworzyć kolejną powłokę i uruchomić $ watch hadoop fs -ls <filenameyouarecopying>. Spowoduje to wyświetlenie pliku i jego rozmiaru raz na 2,0 sekundy.
Możliwe jest również śledzenie postępu odczytu pliku lokalnego za pomocą pvpolecenia i potokowanie zawartości pliku do hdfs dfsstandardowego wejścia:
pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt
pvjest tak niedocenianym narzędziem IMO. Doskonale spełnia swoją rolę.
Nie wygląda na to, że istnieje żadna pełna opcja dla każdego polecenia kopiowania (copyFromLocal, copyToLocal, get, put). Najlepiej jest spojrzeć na rozmiar pliku w miejscu docelowym na HDFS, aby ocenić jego postęp.