Programowanie hdfs

14

Spark - załadować plik CSV jako DataFrame?

Chciałbym przeczytać plik CSV w Spark i przekonwertować go na DataFrame i zapisać w HDFS z df.registerTempTable("table_name") Próbowałem: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Błąd, który otrzymałem: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) …

141 scala apache-spark hadoop apache-spark-sql hdfs

4

Jakie są wady i zalety formatu parkietu w porównaniu z innymi formatami?

Charakterystyka parkietu Apache to: Samoopisujące Format kolumnowy Niezależne od języka W porównaniu do Avro, Sequence Files, RC File itp. Chcę mieć przegląd formatów. Przeczytałem już: Jak Impala współpracuje z formatami plików Hadoop , daje wgląd w formaty, ale chciałbym wiedzieć, w jaki sposób odbywa się dostęp do danych i przechowywanie …

141 file hadoop hdfs avro parquet

8

Jak skopiować plik z HDFS do lokalnego systemu plików

Jak skopiować plik z HDFS do lokalnego systemu plików. W pliku nie ma fizycznej lokalizacji pliku, nawet katalogu. jak mogę przenieść je do mojego lokalnego w celu dalszych walidacji. jestem wypróbowany przez winscp.

135 hadoop copy hdfs

6

Różnica między HBase i Hadoop / HDFS

To trochę naiwne pytanie, ale jestem nowy w paradygmacie NoSQL i niewiele o nim wiem. Więc jeśli ktoś może mi pomóc jasno zrozumieć różnicę między HBase i Hadoop lub jeśli podasz kilka wskazówek, które mogą pomóc mi zrozumieć różnicę. Do tej pory zrobiłem kilka badań i zgodnie z. według mojego …

134 hadoop nosql hbase hdfs difference

9

Nazwa węzła jest w trybie awaryjnym. Nie mogę odejść

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. nie jest w stanie nic stworzyć w hdfs Zrobiłem root# bin/hadoop fs -safemode leave Ale pokazuję safemode: Unknown command Jaki jest problem? Rozwiązanie

122 hadoop hdfs

6

W jaki sposób Hadoop przetwarza rekordy podzielone na granice bloków?

Według Hadoop - The Definitive Guide Rekordy logiczne zdefiniowane przez FileInputFormats zwykle nie pasują dokładnie do bloków HDFS. Na przykład rekordy logiczne TextInputFormat to linie, które częściej przekraczają granice HDFS. Nie ma to wpływu na funkcjonowanie twojego programu - na przykład linie nie są pomijane ani przerywane - ale warto …

119 hadoop split mapreduce block hdfs

9

Jaki jest cel tasowania i sortowania fazy w reduktorze w Map Reduce Programming?

W programowaniu Map Reduce faza redukcji obejmuje tasowanie, sortowanie i redukcję jako części składowe. Sortowanie to kosztowna sprawa. Jaki jest cel tasowania i sortowania fazy w reduktorze w Map Reduce Programming?

113 sorting hadoop mapreduce hdfs shuffle

6

Jaka jest różnica między poleceniami powłoki „hadoop fs” a poleceniami powłoki „hdfs dfs”?

Czy mają być równi? ale dlaczego polecenia „ hadoop fs” pokazują, hdfs filespodczas gdy polecenia „ hdfs dfs” pokazują pliki lokalne? tutaj jest informacja o wersji hadoopa: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Skompilowane przez jenkins w poniedziałek, 22 kwietnia, 10:48:26 PDT 2013

109 hadoop hdfs

10

Jak sprawdzić rozmiar katalogu HDFS?

Wiem du -shw popularnych systemach plików Linuksa. Ale jak to zrobić z HDFS?

99 hadoop command-line directory hdfs

Pytania otagowane jako hdfs