Programowanie mapreduce

9

Java8: HashMap <X, Y> do HashMap <X, Z> przy użyciu Stream / Map-Reduce / Collector

Wiem, jak „przekształcić” prostą Javę Listz Y-> Z, tj .: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Teraz chciałbym zrobić w zasadzie to samo z Mapą, tj .: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: { "key1" …

209 java mapreduce java-8 java-stream collectors

4

Dobre przykłady MapReduce [zamknięte]

W obecnej formie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi poparte będą faktami, referencjami lub wiedzą specjalistyczną, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz, że to pytanie można poprawić i ewentualnie ponownie otworzyć, odwiedź centrum pomocy w …

202 mapreduce

8

Proste wyjaśnienie MapReduce?

Powiązane z moim pytaniem na CouchDB . Czy ktoś może wyjaśnić MapReduce w terminach, które mogą zrozumieć drętwy?

166 frameworks mapreduce glossary

3

Mapuj i zmniejszaj w .NET

Jakie scenariusze uzasadniałyby użycie algorytmu „ Mapuj i zmniejszaj ”? Czy istnieje implementacja tego algorytmu .NET?

152 c# mapreduce

13

Łączenie wielu zadań MapReduce w łańcuchy na platformie Hadoop

W wielu rzeczywistych sytuacjach, w których stosujesz MapReduce, ostateczne algorytmy kończą się na kilku krokach MapReduce. tj. Map1, Reduce1, Map2, Reduce2 i tak dalej. Mamy więc dane wyjściowe z ostatniej redukcji, które są potrzebne jako dane wejściowe dla następnej mapy. Dane pośrednie to coś, czego (ogólnie) nie chcesz zachować po …

124 hadoop mapreduce

6

W jaki sposób Hadoop przetwarza rekordy podzielone na granice bloków?

Według Hadoop - The Definitive Guide Rekordy logiczne zdefiniowane przez FileInputFormats zwykle nie pasują dokładnie do bloków HDFS. Na przykład rekordy logiczne TextInputFormat to linie, które częściej przekraczają granice HDFS. Nie ma to wpływu na funkcjonowanie twojego programu - na przykład linie nie są pomijane ani przerywane - ale warto …

119 hadoop split mapreduce block hdfs

9

Jaki jest cel tasowania i sortowania fazy w reduktorze w Map Reduce Programming?

W programowaniu Map Reduce faza redukcji obejmuje tasowanie, sortowanie i redukcję jako części składowe. Sortowanie to kosztowna sprawa. Jaki jest cel tasowania i sortowania fazy w reduktorze w Map Reduce Programming?

113 sorting hadoop mapreduce hdfs shuffle

4

Jak działa algorytm sortowania MapReduce?

Jednym z głównych przykładów wykorzystywanych do zademonstrowania możliwości MapReduce jest test porównawczy Terasort . Mam problem ze zrozumieniem podstaw algorytmu sortowania używanego w środowisku MapReduce. Dla mnie sortowanie polega po prostu na określeniu względnego położenia elementu w stosunku do wszystkich innych elementów. Tak więc sortowanie polega na porównywaniu „wszystkiego” ze …

110 algorithm sorting parallel-processing hadoop mapreduce

15

Czy istnieje odpowiednik platformy .NET dla Apache Hadoop? [Zamknięte]

Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 4 lata temu . Popraw to pytanie Tak więc patrzyłem na Hadoopa z żywym zainteresowaniem i szczerze mówiąc jestem zafascynowany, nie robi się …

98 c# .net hadoop mapreduce

10

Czy iskra Apache może działać bez hadoopa?

Czy są jakieś zależności między platformą Spark i Hadoop ? Jeśli nie, czy są jakieś funkcje, za którymi będę tęsknić, uruchamiając Spark bez Hadoop ?

91 hadoop amazon-s3 apache-spark mapreduce mesos

10

Czy klauzula $ in w MongoDB gwarantuje kolejność

Czy w przypadku korzystania z $inklauzuli MongoDB kolejność zwracanych dokumentów zawsze odpowiada kolejności argumentów tablicy?

90 mongodb mongoose mapreduce mongodb-query aggregation-framework

8

Kontener działa poza limitami pamięci

W Hadoop v1 przypisałem każde 7 gniazd mapowania i reduktora o rozmiarze 1 GB, moje mapery i reduktory działają dobrze. Moja maszyna ma pamięć 8G, procesor 8. Teraz z YARN, po uruchomieniu tej samej aplikacji na tym samym komputerze, otrzymałem błąd kontenera. Domyślnie mam takie ustawienia: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> …

85 hadoop mapreduce yarn mrv2

7

Co to jest Map / Reduce?

Dużo słyszę o mapowaniu / zmniejszaniu, szczególnie w kontekście masowo równoległego systemu obliczeniowego Google. Co to właściwie jest?

84 language-agnostic mapreduce

8

Kiedy rozpoczyna się redukcja zadań w Hadoop?

Kiedy w Hadoop zaczynają się zadania redukcji? Czy zaczynają się po osiągnięciu określonego odsetka (progu) twórców map? Jeśli tak, czy ten próg jest ustalony? Jaki rodzaj progu jest zwykle używany?

82 hadoop mapreduce reduce

2

Hadoop obcięta / niespójna nazwa licznika

Na razie mam zadanie Hadoop, które tworzy liczniki o dość dużej nazwie. Na przykład, na następujący: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Ten licznik jest obcinany w interfejsie WWW i getName()wywołaniu metody. Dowiedziałem się, że Hadoop ma ograniczenia dotyczące nazwy maksymalnej licznika i ten identyfikator ustawień mapreduce.job.counters.counter.name.maxsłuży do konfigurowania tego limitu. Więc zwiększyłem to do …

79 java hadoop mapreduce yarn

Pytania otagowane jako mapreduce