Pytania otagowane jako hadoop

Hadoop to projekt open source Apache, który zapewnia oprogramowanie do niezawodnego i skalowalnego przetwarzania rozproszonego. Rdzeń składa się z rozproszonego systemu plików (HDFS) i menedżera zasobów (YARN). Różne inne projekty open source, takie jak Apache Hive, używają Apache Hadoop jako warstwy trwałości.

21
Ostrzeżenie Hadoop „Nie można załadować natywnej biblioteki hadoop dla Twojej platformy”
Obecnie konfiguruję hadoop na serwerze z uruchomionymi CentO . Po uruchomieniu start-dfs.shlub stop-dfs.shpojawia się następujący błąd: OSTRZEŻENIE util.NativeCodeLoader: Nie można załadować natywnej biblioteki hadoop dla Twojej platformy ... używając wbudowanych klas Java w stosownych przypadkach Korzystam z Hadoop 2.2.0. Wyszukiwanie online wywołało ten link: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html Jednak zawartość /native/katalogu na Hadoop …
19
Różnica między świnią a ulem? Dlaczego oba? [Zamknięte]
Zamknięte . To pytanie jest oparte na opiniach . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby można było na nie odpowiedzieć faktami i cytatami, edytując ten post . Zamknięte 4 lata temu . Popraw to pytanie Moje pochodzenie - 4 tygodnie w świecie Hadoop. Trochę zanurzał …
256 hadoop  hive  apache-pig 
8
Apache Spark: liczba rdzeni w porównaniu z liczbą wykonawców
Próbuję zrozumieć związek między liczbą rdzeni i liczbą wykonawców podczas uruchamiania zadania Spark w YARN. Środowisko testowe wygląda następująco: Liczba węzłów danych: 3 Specyfikacja maszyny węzła danych: Procesor: Core i7-4790 (liczba rdzeni: 4, liczba wątków: 8) RAM: 32 GB (8 GB x 4) HDD: 8 TB (2 TB x 4) …
16
Kiedy stosować Hadoop, HBase, Hive i Pig?
Jakie są korzyści z przy użyciu Hadoop lub HBase lub gałąź ? Z mojego zrozumienia, HBase unika korzystania z mapowania i ma pamięć zorientowaną na kolumny na HDFS. Hive to podobny do sql interfejs dla Hadoop i HBase . Chciałbym również wiedzieć, jak Hive wypada w porównaniu ze Pig .
185 hadoop  hbase  hive  apache-pig 
15
Jak wyłączyć logowanie INFO w Spark?
Zainstalowałem Sparka za pomocą przewodnika AWS EC2 i mogę poprawnie uruchomić program za pomocą bin/pysparkskryptu, aby dostać się do podpowiedzi iskry, a także mogę pomyślnie wykonać przewodnik Szybki start. Jednak do końca życia nie mogę wymyślić, jak zatrzymać wszystkie szczegółowe INFOrejestrowanie po każdym poleceniu. Wypróbowałem prawie każdy możliwy scenariusz w …
14
Spark - załadować plik CSV jako DataFrame?
Chciałbym przeczytać plik CSV w Spark i przekonwertować go na DataFrame i zapisać w HDFS z df.registerTempTable("table_name") Próbowałem: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Błąd, który otrzymałem: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) …
6
Różnica między HBase i Hadoop / HDFS
To trochę naiwne pytanie, ale jestem nowy w paradygmacie NoSQL i niewiele o nim wiem. Więc jeśli ktoś może mi pomóc jasno zrozumieć różnicę między HBase i Hadoop lub jeśli podasz kilka wskazówek, które mogą pomóc mi zrozumieć różnicę. Do tej pory zrobiłem kilka badań i zgodnie z. według mojego …
134 hadoop  nosql  hbase  hdfs  difference 
13
Łączenie wielu zadań MapReduce w łańcuchy na platformie Hadoop
W wielu rzeczywistych sytuacjach, w których stosujesz MapReduce, ostateczne algorytmy kończą się na kilku krokach MapReduce. tj. Map1, Reduce1, Map2, Reduce2 i tak dalej. Mamy więc dane wyjściowe z ostatniej redukcji, które są potrzebne jako dane wejściowe dla następnej mapy. Dane pośrednie to coś, czego (ogólnie) nie chcesz zachować po …
124 hadoop  mapreduce 
9
Nazwa węzła jest w trybie awaryjnym. Nie mogę odejść
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. nie jest w stanie nic stworzyć w hdfs Zrobiłem root# bin/hadoop fs -safemode leave Ale pokazuję safemode: Unknown command Jaki jest problem? Rozwiązanie
122 hadoop  hdfs 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.