Pytania otagowane jako apache-kafka

Apache Kafka to rozproszona platforma przesyłania strumieniowego zaprojektowana do przechowywania i przetwarzania strumieni danych o dużej przepustowości.

7
Używanie Kafki jako magazynu zdarzeń (CQRS). Dobry pomysł?
Chociaż Natknąłem Kafki przed, ja właśnie niedawno zrealizowane Kafka może być stosowany jako (być może w oparciu o) A CQRS , eventstore . Jeden z głównych punktów obsługiwanych przez Kafkę: Przechwytywanie / przechowywanie zdarzeń, oczywiście wszystkie HA. Architektura pubu / podrzędna Możliwość odtworzenia dziennika zdarzeń, który umożliwia nowym abonentom zarejestrowanie …
18
Oczyść temat Kafka
Czy istnieje sposób na oczyszczenie tematu w kafce? Przesunąłem wiadomość, która była zbyt duża, do tematu wiadomości Kafka na mojej lokalnej maszynie, teraz pojawia się błąd: kafka.common.InvalidMessageSizeException: invalid message size Zwiększanie liczby fetch.sizenie jest tutaj idealne, ponieważ tak naprawdę nie chcę akceptować tak dużych wiadomości.
23
Leader niedostępny Kafka w Console Producer
Próbuję użyć Kafki. Wszystkie konfiguracje są wykonane poprawnie, ale kiedy próbuję wygenerować komunikat z konsoli, pojawia się następujący błąd WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Wersja Kafki: 2.11-0.9.0.0
3
Od czego zależy offset konsumencki Kafki?
Jestem stosunkowo nowy w Kafce. Trochę z tym eksperymentowałem, ale kilka rzeczy jest dla mnie niejasnych, jeśli chodzi o offset konsumencki. Z tego, co do tej pory zrozumiałem, kiedy konsument zaczyna, przesunięcie, od którego zacznie czytać, jest określone przez ustawienie konfiguracji auto.offset.reset(popraw mnie, jeśli się mylę). Teraz powiedzmy na przykład, …
4
Modelowanie danych z Kafką? Tematy i partycje
Jedną z pierwszych rzeczy, o których myślę podczas korzystania z nowej usługi (takiej jak magazyn danych inny niż RDBMS lub kolejka komunikatów), jest: „Jak powinienem uporządkować dane?”. Przeczytałem i obejrzałem kilka materiałów wprowadzających. W szczególności weźmy na przykład Kafka: Distributed Messaging System for Log Processing , który pisze: „Temat to …
168 apache-kafka 
7
Jak mogę wysyłać duże wiadomości za pomocą platformy Kafka (ponad 15 MB)?
Wysyłam wiadomości tekstowe do Kafki V. 0.8 za pomocą Java Producer API. Jeśli rozmiar wiadomości to około 15 MB, otrzymam plik MessageSizeTooLargeException. Próbowałem ustawić message.max.bytesna 40 MB, ale nadal otrzymuję wyjątek. Małe wiadomości działały bez problemów. (Wyjątek występuje u producenta, nie mam konsumenta w tej aplikacji.) Co mogę zrobić, aby …
120 java  apache-kafka 
2
Kafka: Consumer API vs Streams API
Niedawno zacząłem uczyć się języka Kafka i otrzymałem te pytania. Jaka jest różnica między Consumer i Stream? Dla mnie, jeśli jakiekolwiek narzędzie / aplikacja konsumuje wiadomości od Kafki, jest konsumentem w świecie Kafki. Czym różni się usługa Stream, skoro również pobiera wiadomości z platformy Kafka lub generuje je do niej? …
7
Apache Kafka vs Apache Storm
Apache Kafka: rozproszony system przesyłania wiadomości Apache Storm: przetwarzanie wiadomości w czasie rzeczywistym Jak możemy wykorzystać obie technologie w potoku danych czasu rzeczywistego do przetwarzania danych o zdarzeniach? Jeśli chodzi o przepływ danych w czasie rzeczywistym, wydaje mi się, że oba zadania są identyczne. Jak możemy wykorzystać obie technologie w …
3
Czy klucz jest wymagany podczas wysyłania wiadomości do platformy Kafka?
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Obecnie wysyłam wiadomości bez klucza jako część wiadomości z kluczem, czy nadal będzie to działać delete.retention.ms? Czy muszę wysłać klucz jako część wiadomości? Czy dobrze jest tworzyć klucz jako część wiadomości?
14
Usuń temat w Kafce 0.8.1.1
Muszę usunąć temat testw Apache Kafka 0.8.1.1. Jak wynika z niniejszej dokumentacji , wykonałem: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Jednak powoduje to następujący komunikat: Command must include exactly one action: --list, --describe, --create or --alter Jak mogę usunąć ten temat?
3
Jaki jest cel przesyłania wiadomości opartych na parach klucz / wartość w Kafce? [Zamknięte]
Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby skupiało się tylko na jednym problemie, edytując ten post . Zamknięte 12 miesięcy temu . Popraw to pytanie Wszystkie przykłady z Kafki | producenci pokazują, że ProducerRecordpara klucz / wartość …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.