Alternatywy dla Splunk?

Jestem pod wrażeniem Splunk , szczególnie wersji 4. Ładne wykresy, alarmowanie (tylko wersja Enterprise) oraz szybkie, dokładne wyszukiwanie. To świetny produkt.

Jednak koszt jest po prostu zbyt wysoki, aby rozważyć jego pełne wykorzystanie w produkcji. Jedyne, czego naprawdę potrzebujemy, to móc indeksować różne dzienniki w centralnym miejscu i mieć rozsądne wyszukiwanie. Alerty oparte na zapisanym wyszukiwaniu są również bardzo miłe. Tak naprawdę nie wykraczamy poza to.

W rzeczywistości naszym największym zastosowaniem było wdrażanie nowych aplikacji. Wszystko loguje się poprzez log4net do dziennika zdarzeń w systemie Windows lub pliku tekstowego w systemie Linux. Splunk ułatwia szybkie przeszukiwanie tych, aby upewnić się, że wszystkie części aplikacji działają poprawnie - dzięki temu zaoszczędziliśmy mnóstwo czasu w porównaniu do wyszukiwania pojedynczych źródeł logowania.

Jakie alternatywy istnieją na tym rynku? Mam wrażenie, że ceny Splunk są tak wysokie, ponieważ mają jak dotąd najlepszy produkt i wiedzą o tym. Chcemy, aby serwer działał w systemie Windows.

Byłbym otwarty na podzielony model, wykorzystujący jeden produkt do ogólnych dzienników (zbieranie za pośrednictwem syslog / Snare) oraz dedykowany produkt dla naszych niestandardowych aplikacji (takich jak Log4Net Dashboard ).

Czy zadziałałoby użycie prostego serwera syslog, takiego jak Kiwi, wysłanego do SQL Server (być może z włączonym pełnym tekstem)?

Mam nadzieję, że koszt powinien być znacznie poniżej 5 cyfr, USD. (I tak, wiem, jesteśmy tani. Jesteśmy startupem z małymi pieniędzmi, a BizSpark zajmuje się wszystkimi naszymi licencjami MS).

Edycja: Powinienem dodać, mamy około 10 fizycznych serwerów, 20 maszyn wirtualnych oraz kilka zapór ogniowych i przełączników. 90% to Windows.

Uwaga: Dotyczy to wyłącznie Linuksa i wolnego oprogramowania , ponieważ tego najczęściej używam, ale powinieneś mieć klienta klienckiego syslog w systemie Windows, aby wysyłać dzienniki do serwera syslog Linux.

Logowanie do serwera SQL: z tylko ~ 30 maszynami, powinieneś być w porządku z praktycznie każdym scentralizowanym systemem podobnym do syslog i zapleczem SQL. W tym celu używam syslog-ng i MySQL w systemie Linux.

Ładne nakładki na grafikę są głównym problemem - wygląda na to, że istnieje wiele zhakowanych nakładek, które chwytają przedmioty z dzienników i pokazują liczbę trafień, alertów itp., Ale nie znalazłem niczego zintegrowanego i czystego. Trzeba przyznać, że jest to główna rzecz, której szukasz ... (Jeśli znajdę coś dobrego, zaktualizuję ten rozdział!)

Alarmowanie : Używam SEC na serwerze Linux, aby znaleźć złe rzeczy, które dzieją się w logach i ostrzegają mnie różnymi metodami. Jest niesamowicie elastyczny i nie tak klikalny jak Splunk. Jest tu fajny samouczek, który poprowadzi przez wiele możliwych funkcji.

Używam również Nagios do wykresów różnych statystyk i niektórych alertów, których nie otrzymuję z dzienników (na przykład, gdy usługi są wyłączone itp.). Można to łatwo dostosować, aby dodać wykresy dowolnych elementów. Dodałem wykresy elementów, takich jak liczba trafień wykonanych na serwerze http, poprzez użycie przez agenta wtyczki check_logfiles do zliczenia liczby trafień w logach (zapisuje pozycję, którą osiąga dla każdego okresu sprawdzania).

Ogólnie rzecz biorąc, zależy to od tego, ile czasu będzie kosztowało skonfigurowanie tego , ponieważ istnieje wiele opcji, z których można skorzystać, ale nie są one tak zintegrowane jak Splunk i prawdopodobnie będą wymagały więcej wysiłku, aby zrobić to, co chcesz. Wykresy Nagios są łatwe do skonfigurowania, ale nie dostarczają danych historycznych przed dodaniem wykresu, podczas gdy dzięki Splunk (i przypuszczalnie innym interfejsom) możesz spojrzeć wstecz na przeszłe dzienniki i wykresy, które przed chwilą dodałeś pomyślałem o tym, żeby na nie spojrzeć.

Zauważ też, że format i indeksowanie bazy danych SQL będzie miało ogromny wpływ na szybkość zapytań, więc pomysł indeksowania pełnotekstowego znacznie zwiększy szybkość wyszukiwania. Nie jestem pewien, czy MySQL lub PostgreSQL zrobią coś podobnego.

Edycja : MySQL będzie indeksował pełny tekst, ale tylko w tabelach MyISAM wcześniejszych niż MySQL 5.6. W 5.6 dodano obsługę InnoDB .

Edycja : Postgresql może oczywiście wyszukiwać pełny tekst: http://www.postgresql.org/docs/9.0/static/textsearch.html

Bardziej ukierunkowany na * nix niż Windows, ale octopussy obsługuje okna i wydaje się mieć na celu to samo, co splunk.

Jestem w trakcie wypróbowywania wielu rozwiązań monitorowania - ale chcę głównie monitorować okna. Większość systemów jest nastawiona na monitorowanie SNMP, które potrafią wyciągnąć znaczną ilość informacji bez agentów.

Oto niektóre z systemów, które próbowałem do tej pory:

Nagios - Open source. Świnia do skonfigurowania, ale wysoko oceniana i wydaje się bardzo elastyczna. Wygląda na to, że jest to zasadniczo rejestrator i nie pozwala na zdalne wykonanie skryptu, dlatego nie można go używać do wykrywania problemów z konfiguracją, np. Centrum systemu MS lub Kaseya. Bezagentowy, ale zasadniczo bezużyteczny bez narzędzia NSclient zainstalowanego na każdym kliencie.

Kaktusy - Ładne i proste narzędzie do tworzenia wykresów oparte na pobieraniu statystyk snmp. Bez agentów.

OpsView - oparty na Nagios, ale łatwiejszy do skonfigurowania i ma lepszy interfejs.

HypericHQ - łatwe uruchomienie i uruchomienie w systemie Windows. Wersja podstawowa jest darmowa i robi wiele. Istnieje komercyjne przedsiębiorstwo HypericHQ. Agent musi być zainstalowany na każdym kliencie.

Zabbix - Kolejne fajne narzędzie do monitorowania. Jest łatwiejszy w użyciu niż nagios. Ma agenta, który można zainstalować na systemach Windows i komputerach klienckich. Do tej pory odkryłem to tylko trochę.

Zenoss - Open source. Jestem pod wielkim wrażeniem profesjonalizmu Zenoss. Jest to monitor oparty na SNMP i ma mnóstwo rozszerzeń, które umożliwiają monitorowanie proliantów HP, usług Windows, serwera MS SQL, MySQL. Wszystkie rozszerzenia działają przez SNMP, więc nie trzeba nic instalować na komputerach klienckich. Nie odkryłem jeszcze tego wszystkiego i wydaje się, że istnieje wiele funkcji, których muszę jeszcze użyć. Opiera się na Zope, więc jeśli nie jesteś na bieżąco z instalacjami Zope, polecam pobranie gotowej maszyny wirtualnej - działa jak marzenie od razu po wyjęciu z pudełka.

Na froncie handlowym możesz rzucić okiem na kilka narzędzi:

Kaseya - o ile dobrze pamiętam, kosztuje około 6 000 rocznie na 250 węzłów, ale jest doskonałym narzędziem i ma bardzo aktywną społeczność użytkowników. Jest skierowany na rynek msp i umożliwia monitorowanie systemów wielu firm. Można go używać wewnętrznie bez problemów.

Gound Dog GFI - prostszy niż Kaseya, ale w tej chwili bardzo tani. Zdecydowanie warte obejrzenia.

Istnieje wiele rozwiązań sprzedawanych jako systemy MSP, które są w zasadzie monitorami + zdalnym administratorem łącznie.

Ian

W przypadku scentralizowanego syslogowania z wieloma świetnymi funkcjami nie mogę pomóc, ale polecam wystarczająco rsyslog . Jest to serwer syslog typu open source, który z radością może działać jako drop-in zamiast zwykłego syslogd, który znasz i kochasz. Teraz jest to demon syslog z wyboru dla Ubuntu i myślę, że Red Hat i Fedora również mogą pójść tą drogą. Uważam, że dużo łatwiej jest mi zacząć działać i robić, co chcesz, to syslog-ng.

Obecnie w naszym sklepie mamy dwa centralne serwery rsyslog (po jednym w każdej witrynie), które otrzymują logi dla setek serwerów. Mam automatyczne powiadomienia e-mail za każdym razem, gdy coś w syslog powoduje alarm lub wyższy (z pewnymi poprawkami, niektóre aplikacje są trochę alarmujące). Prawdopodobnie mógłbym zrobić więcej sprytów, takich jak wysyłanie materiałów do nagios itp., Ale na razie wystarcza to na nasze potrzeby.

Wszystko to również trafia do bazy danych mysql (istnieje również obsługa Oracle lub postgresql, jeśli tak się dzieje).

Dostępny jest również interfejs WWW i agent systemu Windows do wysyłania dzienników zdarzeń do serwera rsyslog. Interfejs sieciowy oczywiście nie jest tak elegancki jak splunk, ale wykonuje zadanie za 0 USD.

Spójrz na http://www.codeplex.com/polymon

Jest open source, korzysta z SQL Server w backend i ma fantazyjny interfejs użytkownika

Zgadzam się, że Splunk jest niesamowity. Jednak w małych środowiskach z dominującym Linuksem warto przyjrzeć się epylogowi .

Użyliśmy go w jednym z miejsc, w których kiedyś pracowałem i było to świetne rozwiązanie do tego, co chcieliśmy.

Nie jestem pewien, jak dobrze poradziłby sobie z komunikatami syslog systemu Windows wysyłanymi do modułu gromadzącego syslog systemu Linux, ale warto spróbować.

Wystarczy link do mojej odpowiedzi gdzie:

Splunk jest fantastycznie drogi: jakie są alternatywy?

Edytuj (nowe projekty):

W LogStash i Graylog2 projekty wyglądają bardzo ciekawy

Oto kilka filmów: jeden dwa .

Coś takiego jak GFI EventsManager może załatwić sprawę za około 4 000 $.

• Analiza dzienników zdarzeń, w tym pułapek SNMP, dzienników zdarzeń Windows, dzienników W3C i Syslog
• Alerty w czasie rzeczywistym, w tym alerty pułapek SNMPv2
• Zobacz raporty o najważniejszych informacjach dotyczących bezpieczeństwa, które mają miejsce teraz
• Scentralizowane rejestrowanie zdarzeń
• Usuń „szum” lub trywialne zdarzenia, które stanowią duży odsetek wszystkich zdarzeń bezpieczeństwa
• Monitorowanie i alarmowanie w czasie rzeczywistym 24 x 7 x 365 dni
• Monitoruj graficznie status GFI EventsManager i swoją sieć poprzez wbudowany monitor stanu
• Obsługa środowisk wirtualnych

Jeśli szukasz zamiennika SysLog, możesz również rozważyć komercyjne zastąpienie syslog / rsyslog, takie jak LogLogic, http://loglogic.com . My (tam, gdzie pracuję) mamy w pełni funkcjonalny zestaw urządzeń do rejestrowania, przechowywania i raportowania. Zasadniczo jego zdolność do gromadzenia 100 000 wiadomości na sekundę, ranienia i indeksowania ich, aby można było wyszukiwać.

Możesz wypróbować logscape z liquidlabs - bardzo podobny do splunk, ale ma również kilka różnych funkcji .... http://www.liquidlabs-cloud.com/products/logscape.html

Zrobiłem backend SQL w poprzednim zadaniu (tak przy okazji, był to MySQL), wraz ze skryptami, interfejsem Drupal z niestandardowymi skryptami PHP, działa.

Szczerze mówiąc, zajęło to zbyt wiele roboczogodzin i nadal nie było Splunk.

Obecnie testuję zamiast tego Splunk. Tak, to nie jest darmowe, ale patrząc na duży obraz może być tańsze.

Próbowałeś php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Opublikowałem wątek dupe: Splunk jest fantastycznie drogi: jakie są alternatywy?

xpolog i wszystkie poważne rozwiązania komercyjne są WIELKIE $ (nawet jeśli są mniejsze niż splunk, większość ma łatwo 5 cyfr!)

Sooooo, co w końcu zrobiliśmy (bo splunk był za dużo $):

1) Chcieliśmy prostego syslog do potoku sql db

2) Próbowaliśmy syslog kiwi. Działa to świetnie przez tydzień, przestało działać, a obsługa kiwi nie mogła tego naprawić. Więc upuściliśmy kiwi

3) Próbowaliśmy winsyslog. Stary pies aplikacji, nie chcieliśmy się tego uczyć.

4) Korzystaliśmy z tej bezpłatnej aplikacji .net: http://www.aonaware.com/syslog.htm

Voila Mamy wiadomości syslog w naszej bazie danych.

Jesteśmy bardzo szczęśliwi. Wydano 0 USD, kilka godzin, ale nie za dużo.

Używamy tutaj Splunk i jestem trochę zszokowany cenami, które ci powiedzieli. Podstawowy podział, jaki otrzymaliśmy, wyniósł około 1 000 USD na 1 GB danych. Jest to kosztowne, ale super mocne i naprawdę szybkie w rozwoju. W zależności od źródeł danych i tego, co chcesz z nimi zrobić, niektóre skrypty Python i Perl mogą dać ci wiele podobnych danych. Dużą różnicą będzie czas i nauka, jak naprawdę posługiwać się językiem w przetwarzaniu tekstu. Nie można również uzyskać informacji o IP w czasie rzeczywistym (takich jak syslog), ale można to naprawić, uzyskując syslogger i wysyłając informacje do pliku tekstowego. Przykro mi, ale nie mogę wskazać żadnego konkretnego rozwiązania; do czego nie możemy użyć splunk, do którego używamy skryptów Python, Perl i Bash.

ELSA - Enterprise Log Search and Archive

Główne cechy:

• Wyszukiwanie pełnotekstowe dowolnego słowa w wiadomości lub parsowanym polu.
• Grupuj według dowolnego pola i twórz raporty na podstawie wyników.
• Zaplanuj wyszukiwanie.
• Powiadomienie o trafieniach wyszukiwania w nowych dziennikach.
• Zapisuj wyszukiwania, zapisuj wyniki wyszukiwania e-mailem.
• Twórz zgłoszenia zdarzeń na podstawie wyników wyszukiwania (z wtyczką).
• Kompletny system wtyczek dla wyników.
• Eksportuj wyniki jako bezpośredni link lub w Excelu, PDF, CSV i HTML.
• Pełna integracja LDAP dla uprawnień.
• Statystyki zapytań według użytkownika oraz rozmiaru i liczby dzienników.
• W pełni rozproszona architektura, może obsługiwać węzły z wszystkimi zapytaniami wykonywanymi równolegle.
• Skompresowane archiwum o współczynniku lepszym niż 10: 1.

Szczegóły wydajności:

Do określania systemu w kolejności ważności: rozmiar dysku, pamięć RAM, szybkość dysku, liczba procesorów. Nadrzędnym współczynnikiem wydajności jest indeksator i demon wyszukiwania Sphinx, więc dokumenty można znaleźć na stronie sphinxsearch.com. Moje podane statystyki pochodzą z dużych systemów (16 procesorów, 144 GB pamięci RAM, 12 TB HD), ale uzyskasz taką samą wydajność w systemie z 4 procesorami, 8 GB pamięci RAM i dowolną wielkością HD, ponieważ rzeczy skalują się liniowo. System po raz pierwszy działał na serwerach IBM z 4 GB pamięci RAM i wolnymi dyskami SAN i działał z mniej więcej taką samą szybkością, ale 4 GB nieco go zmniejsza.

Szczegóły dotyczące wydajności i lista głównych funkcji, a także opis architektury: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Kod: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Szczegóły dotyczące projektu: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Jeśli szukasz znacznie tańszej alternatywy dla Splunk - wypróbuj LogZilla ( http://www.logzilla.pro ). Skaluje się równie dobrze lub lepiej niż Splunk (możesz przeszukać ponad 300m dzienników w około 1-2 sekund) i łatwo kosztuje 1/10 kosztu. Mają wersję demonstracyjną działającą pod adresem http://demo.logzilla.pro