Pytania otagowane jako partitioning

Czy Zookeeper jest koniecznością dla Kafki?

Bounty upływa w ciągu 3 dni . Odpowiedzi na to pytanie kwalifikują się do nagrody +250 reputacji. Naman chce nagrodzić istniejącą odpowiedź : Dodanie ważnej aktualizacji autorstwa Kai do istniejących odpowiedzi. W Kafce chciałbym używać tylko jednego brokera, jednego tematu i jednej partycji z jednym producentem i wieloma konsumentami (każdy …

147 partitioning apache-zookeeper producer-consumer apache-kafka broker

Jak zdefiniować partycjonowanie DataFrame?

Zacząłem używać Spark SQL i DataFrames w Spark 1.4.0. Chcę zdefiniować niestandardowy partycjoner w DataFrames w Scali, ale nie widzę, jak to zrobić. Jedna z tabel danych, z którymi pracuję, zawiera listę transakcji według konta, jak w poniższym przykładzie. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase …

128 scala apache-spark dataframe apache-spark-sql partitioning

Jak działa HashPartitioner?

Przeczytałem w dokumentacji HashPartitioner. Niestety nic nie zostało wyjaśnione poza wywołaniami API. Zakładam, że HashPartitionerdzieli rozproszony zestaw na podstawie skrótu kluczy. Na przykład, jeśli moje dane są podobne (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Więc partycjoner umieściłby to na różnych partycjach z tymi samymi kluczami należącymi do tej samej partycji. …

82 scala apache-spark rdd partitioning

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.

Licensed under cc by-sa 3.0 with attribution required.