Pytania otagowane jako hadoop

Jednym z głównych przykładów wykorzystywanych do zademonstrowania możliwości MapReduce jest test porównawczy Terasort . Mam problem ze zrozumieniem podstaw algorytmu sortowania używanego w środowisku MapReduce. Dla mnie sortowanie polega po prostu na określeniu względnego położenia elementu w stosunku do wszystkich innych elementów. Tak więc sortowanie polega na porównywaniu „wszystkiego” ze …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Czy mają być równi? ale dlaczego polecenia „ hadoop fs” pokazują, hdfs filespodczas gdy polecenia „ hdfs dfs” pokazują pliki lokalne? tutaj jest informacja o wersji hadoopa: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Skompilowane przez jenkins w poniedziałek, 22 kwietnia, 10:48:26 PDT 2013

109 hadoop  hdfs 

Otrzymuję następujący błąd podczas uruchamiania namenode dla najnowszej wersji Hadoop-2.2. Nie znalazłem pliku winutils exe w folderze bin Hadoop. Wypróbowałem poniższe polecenia $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate …

108 hadoop 

Wiem du -shw popularnych systemach plików Linuksa. Ale jak to zrobić z HDFS?

99 hadoop  command-line  directory  hdfs 

Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 4 lata temu . Popraw to pytanie Tak więc patrzyłem na Hadoopa z żywym zainteresowaniem i szczerze mówiąc jestem zafascynowany, nie robi się …

98 c#  .net  hadoop  mapreduce 

Próbuję uruchomić prosty NaiveBayesClassiferprzy użyciu hadoop, otrzymując ten błąd Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Kod : Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in …

97 java  hadoop  io 

Planuję użyć jednego z formatów pliku hadoop dla mojego projektu związanego z hadoopem. Rozumiem, że parkiet jest skuteczny w przypadku zapytań opartych na kolumnach i avro dla pełnego skanowania lub gdy potrzebujemy wszystkich danych z kolumn! Zanim przejdę dalej i wybiorę jeden z formatów plików, chcę zrozumieć, jakie są wady …

92 hadoop  avro  parquet 

Czy są jakieś zależności między platformą Spark i Hadoop ? Jeśli nie, czy są jakieś funkcje, za którymi będę tęsknić, uruchamiając Spark bez Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Jak mogę znaleźć używaną wersję programu Hive w wierszu polecenia. Poniżej znajdują się szczegóły- Używam Putty do łączenia się z tabelą ula i uzyskiwania dostępu do rekordów w tabelach. Więc co zrobiłem - otworzyłem Putty i wpisałem nazwę hosta - leo-ingesting.vip.name.coma potem kliknąłem Open. Następnie wpisałem swoją nazwę użytkownika i …

88 hadoop  hive 

Przeprowadzam kilka testów na formatach przechowywania dostępnych w Hive i używam Parquet i ORC jako głównych opcji. Raz włączyłem ORC z domyślną kompresją, a raz ze Snappy. Przeczytałem wiele dokumentów, w których stwierdzono, że Parquet jest lepszy pod względem złożoności czasowo-przestrzennej w porównaniu z ORC, ale moje testy są odwrotne …

87 hadoop  hive  parquet  snappy  orc 

Podczas instalowania Hadoopa na moim komputerze lokalnym otrzymałem następujący błąd ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection refused ssh: …

86 linux  hadoop  ssh 

W Hadoop v1 przypisałem każde 7 gniazd mapowania i reduktora o rozmiarze 1 GB, moje mapery i reduktory działają dobrze. Moja maszyna ma pamięć 8G, procesor 8. Teraz z YARN, po uruchomieniu tej samej aplikacji na tym samym komputerze, otrzymałem błąd kontenera. Domyślnie mam takie ustawienia: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> …

85 hadoop  mapreduce  yarn  mrv2 

W obecnym stanie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi będą poparte faktami, referencjami lub ekspertyzą, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz, że to pytanie można poprawić i prawdopodobnie ponownie otworzyć, odwiedź centrum pomocy, aby uzyskać …

84 nosql  hadoop  cassandra  hbase  data-processing 

Kiedy w Hadoop zaczynają się zadania redukcji? Czy zaczynają się po osiągnięciu określonego odsetka (progu) twórców map? Jeśli tak, czy ten próg jest ustalony? Jaki rodzaj progu jest zwykle używany?

82 hadoop  mapreduce  reduce 

chcielibyśmy umieścić wyniki zapytania Hive w pliku CSV. Pomyślałem, że polecenie powinno wyglądać tak: insert overwrite directory '/home/output.csv' select books from table; Kiedy go uruchamiam, mówi, że zakończyło się pomyślnie, ale nigdy nie mogę znaleźć pliku. Jak znaleźć ten plik, czy powinienem wyodrębniać dane w inny sposób?

81 database  hadoop  hive  hiveql