Jak rozwiązać problem poważnego zagęszczenia w Apache Cassandra?


14

Mam jednowęzłowy klaster Cassandra, który obecnie utknął w dużym procesie zagęszczania. Po wykonaniu a nodetool compactrozpoczęła się kompresja i widzę pliki tmp-sstable o rozmiarze 0 bajtów. Ale to wszystko. Brak postępu przez wiele godzin.

Już zatrzymałem usługę Cassandra, ale po ponownym uruchomieniu kontynuowałem zagęszczanie ponownie bez postępu. A nodetool compactionstatspokazuje postęp 0,00% i pozostały czas sześciu minut. Ale czekałem już 24 godziny. W międzyczasie zatrzymałem wszystkich czytelników i pisarzy, nie widząc żadnej różnicy.

Używam wersji 2.1.2. Próbowałem już z OpenJDK 7 i Javą Oracle 7, ale bez różnicy.

Dzienniki nie wskazują OOM ani żadnego innego wyjątku lub ostrzeżenia.

Nie jestem pewien, czy jest to pomocne, ale obecnie migruję z Cassandry, ponieważ nie spełnia moich potrzeb. Usuwam więc dużo danych, które zostały zmigrowane. Istnieje wiele wierszy po kilkaset do kilku tysięcy kolumn. Ale jest kilka rzędów z milionem kolumn. Mają teraz wiele nagrobków ze względu na proces migracji (usuwania).

Mile widziana jest pomoc w debugowaniu problemu.


to tylko pomysł, czy przeglądałeś / var / log / syslog lub gdzie można się zalogować coś w stylu wielu otwartych plików / VM maxmem?
Antony Gibbs

@AntonyGibbs Nic takiego. Jest to obezwładniony serwer fizyczny. Inne usługi działają płynnie obok Cassandry.
mailq

1
Czy sprawdziłeś, czy proces jest związany z procesorem, połączeniem we / wy lub zablokowany, czekając na coś innego?
kasperd

1
jakie są ustawienia uruchomionej wirtualnej maszyny Java? może być potężnym serwerem, jeśli instancja Java jest ograniczona do 128M, nie dostanie więcej. Dźwięk niczego w logach sprawia, że ​​myślę o limitach pamięci ...
Antony Gibbs

1
wyjście ulimit -az konsoli użytkownika Cassandra może być przydatne.
Antony Gibbs,

Odpowiedzi:


1

Nie jestem ekspertem od Cassandry , ale czy próbowałeś nodetool zatrzymać zagęszczanie i ustawić próg zagęszczenia (ustaw próg zagęszczenia na 0), aby system go nie ponowił


nodetool stop - KOMPAKCJA To nie pomogło. Praca wciąż trwa.
Jigar Shah,

@JigarShah To samo pytanie co OP? powinieneś zadać nowe pytanie, aby uzyskać nową odpowiedź.
Być
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.