Pytania otagowane jako distributed-computing

5
Wyjaśniając Apache ZooKeeper
Próbuję zrozumieć ZooKeeper, jak to działa i co robi. Czy jest jakaś aplikacja, która jest porównywalna z ZooKeeper? Jeśli wiesz, to jak opisałbyś ZooKeeper laikowi? Próbowałem wiki apache, zookeeper sourceforge ... ale nadal nie mogę się z tym powiązać. Właśnie przeczytałem http://zookeeper.sourceforge.net/index.sf.shtml , więc czy nie ma więcej takich usług? …
13
Spark - repartition () vs coalesce ()
Według Learning Spark Pamiętaj, że podział danych na partycje jest dość kosztowną operacją. Spark ma również zoptymalizowaną wersję repartition()wywołania, coalesce()która pozwala uniknąć przenoszenia danych, ale tylko wtedy, gdy zmniejsza się liczbę partycji RDD. Jedną różnicą, którą dostaję, jest to, że wraz repartition()z liczbą partycji można zwiększać / zmniejszać, ale z …
2
Co to są pracownicy, wykonawcy, rdzenie w klastrze Spark Standalone?
Przeczytałem Omówienie trybu klastrowego i nadal nie rozumiem różnych procesów w klastrze autonomicznym Spark i równoległości. Czy pracownik jest procesem JVM, czy nie? Uruchomiłem bin\start-slave.shi okazało się, że spawnował on robot, którym w rzeczywistości jest JVM. Zgodnie z powyższym linkiem, executor jest procesem uruchomionym dla aplikacji w węźle pracownika, który …
3
Od czego zależy offset konsumencki Kafki?
Jestem stosunkowo nowy w Kafce. Trochę z tym eksperymentowałem, ale kilka rzeczy jest dla mnie niejasnych, jeśli chodzi o offset konsumencki. Z tego, co do tej pory zrozumiałem, kiedy konsument zaczyna, przesunięcie, od którego zacznie czytać, jest określone przez ustawienie konfiguracji auto.offset.reset(popraw mnie, jeśli się mylę). Teraz powiedzmy na przykład, …
25
Oblicz medianę miliarda liczb
Jeśli masz miliard liczb i sto komputerów, jaki jest najlepszy sposób na zlokalizowanie mediany tych liczb? Jedno rozwiązanie, które mam, to: Podziel zestaw równo między komputery. Sortuj je. Znajdź mediany dla każdego zestawu. Sortuj zestawy według środkowych. Połącz dwa zestawy naraz, od najniższej do najwyższej mediany. Jeśli mamy m1 < …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.