Jak przygotować / zbudować funkcje do wykrywania anomalii (dane bezpieczeństwa sieci)

Moim celem jest analiza dzienników sieciowych (np. Apache, syslog, audyt bezpieczeństwa Active Directory itd.) Przy użyciu wykrywania klastrów / anomalii do celów wykrywania włamań.

Z dzienników mam wiele pól tekstowych, takich jak adres IP, nazwa użytkownika, nazwa hosta, port docelowy, port źródłowy itd. (Łącznie 15-20 pól). Nie wiem, czy w dziennikach są jakieś ataki, i chcę podkreślić najbardziej podejrzane zdarzenia (wartości odstające).

Zazwyczaj wykrywanie anomalii oznacza punkty o niskim prawdopodobieństwie / częstotliwości jako anomalie. Jednak połowa zapisów dziennika zawiera unikalną kombinację pól. Tak więc połowa rekordów w zestawie danych będzie miała najniższą możliwą częstotliwość.

Jeśli używam wykrywania anomalii opartego na grupowaniu (np. Znajduję klastry, a następnie wybieram punkty, które są daleko od wszystkich centrów klastrów), muszę znaleźć odległość między różnymi punktami. Ponieważ mam 15-20 pól, będzie to wielowymiarowa przestrzeń, w której wymiarami są nazwa użytkownika, port, adres IP i tak dalej. Jednak odległość Mahalanobisa można zastosować tylko do normalnie rozmieszczonych obiektów. Oznacza to, że nie ma możliwości znalezienia odległości między punktami danych i budowy klastrów ...

Na przykład wyobraźmy sobie, że mam użytkowników Alice, Bob, Carol, Dave, Eve i Frank w zestawie danych 20 rekordów. Mogą mieć następującą liczbę wystąpień w bazie danych: 2,5,2,5,1,5. Jeśli po prostu zamapuję nazwy użytkowników na liczby, np

Alice --> 1
Bob --> 2
Carol --> 3
Dave --> 4
Eve --> 5
Frank --> 6

Następnie mój rozkład prawdopodobieństwa dla nazw użytkowników będzie wyglądał następująco:

p (1) = 0,1, p (2) = 0,25, p (3) = 0,1, p (4) = 0,25, p (5) = 0,05, p (6) = 0,25

Oczywiście nie jest to normalna dystrybucja, a to również nie ma większego sensu, ponieważ mogłem mapować nazwy użytkowników w inny sposób ...

Zatem proste mapowanie pól takich jak nazwa użytkownika, akcja, numer portu, adres IP i tak dalej na liczby nic nie przynosi.

W związku z tym chciałbym zapytać, w jaki sposób pola tekstowe są przetwarzane / funkcje są zwykle konstruowane, aby umożliwić wykrywanie nieprawidłowości / wartości odstających bez nadzoru?

EDYCJA: struktura danych.

Mam około 100 kolumn w tabeli bazy danych, zawierających informacje ze zdarzeń usługi Active Directory. Z tych 100 kolumn wybieram najważniejsze (z mojego punktu widzenia): SubjectUser, TargetUser, SourceIPaddress, SourceHostName, SourcePort, Computer, DestinationIPaddress, DestinationHostName, DestinationPort, Action, Status, FilePath, EventID, WeekDay, DayTime.

Zdarzenia to zdarzenia usługi Active Directory, w których identyfikator zdarzenia określa, co zostało zarejestrowane (np. Utworzenie biletu Kerberos, logowanie użytkownika, wylogowanie użytkownika itp.).

Próbka danych wygląda następująco:

+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| ID | SubjectUser | TargetUser | SourceIPaddress | SourceHostName | SourcePort | Komputer | DestinationIPaddress | DestinationHostName | DestinationPort | Akcja | Status | FilePath | EventID | WeekDay | DayTime |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 171390673 |? | | | | | domaincontroller1.domain.com | 1.1.1.1 | domaincontroller1.domain.com |? | / Uwierzytelnianie / Weryfikacja | / Sukces |? | 4624 | 1 | 61293 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 173348232 |? | | | | | domaincontroller2.domain.com | 2.2.2.2 | domaincontroller2.domain.com |? | / Uwierzytelnianie / Weryfikacja | / Sukces |? | 4624 | 1 | 61293 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 180176916 |? | | | | | domaincontroller2.domain.com | 2.2.2.2 | domaincontroller2.domain.com |? | / Uwierzytelnianie / Weryfikacja | / Sukces |? | 4624 | 1 | 61293 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 144144725 |? | John.Doe | 3.3.3.3 | domaincontroller3.domain.com | 2407 | domaincontroller3.domain.com | 3.3.3.4 | domaincontroller3.domain.com |? | / Uwierzytelnianie / Weryfikacja | / Sukces |? | 4624 | 3 | 12345 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +

Łącznie mam około 150 milionów wydarzeń. Różne zdarzenia mają wypełnione różne pola i nie wszystkie zdarzenia dotyczą logowania / wylogowywania użytkownika.

Zdecydowanie nie jestem ekspertem w wykrywaniu anomalii . Jest to jednak interesujący obszar i oto moje dwa centy. Po pierwsze, biorąc pod uwagę uwagę, że „odległość Mahalanobisa można zastosować tylko do normalnie rozmieszczonych obiektów”. Natknąłem się na niektóre badania, które dowodzą, że nadal można korzystać z tej miary w przypadku niestandardowych danych. Sprawdź sam ten artykuł i ten raport techniczny .

Mam również nadzieję, że przydatne okażą się następujące zasoby dotyczące wykrywania nienadzorowanej anomalii (AD) w kontekście bezpieczeństwa sieci IT , przy użyciu różnych podejść i metod: ten artykuł przedstawiający geometryczne ramy dla AD bez nadzoru; ten dokument , w którym zastosowano podejście klastrowe oparte na gęstości i siatce ; slajdy prezentacji , które wspominają o użyciu samoorganizujących się map dla AD.

Na koniec proponuję, abyś zapoznał się z moimi odpowiedziami, które moim zdaniem są istotne dla tematu, a zatem mogą być pomocne: odpowiedź na temat metod klastrowania , odpowiedź na temat klastrowania niezwiązanego z odległością i odpowiedź na temat opcji oprogramowania dla AD .

Po pierwsze, myślę, że są pewne rzeczy, do których możesz się pogodzić.

Jednym z twardych ograniczeń, które widzę w tym problemie, jest to, że prawdopodobnie powinieneś być przygotowany na dość wysoki współczynnik fałszywie dodatnich. O ile mi wiadomo, podstawowa szybkość zapisu będącego częścią anomalii sieci jest dość niska (potrzebne cytowanie). Nazwijmy to kursem 1000: 1, ze względu na argument. Wtedy nawet jeśli zaobserwujesz wzorzec, który jest 100 razy bardziej prawdopodobny, jeśli rekord jest wtargnięciem, to jeśli jest to legalne, Reguła Bayesa mówi, że szanse późniejsze wynoszą 10: 1, że ruch jest nadal legalny.

Innym problemem jest to, że niektóre ingerencje są trudne do wykrycia nawet w zasadzie . Na przykład, jeśli ktoś społecznie skonstruował mnie, żebym dał mu mój komputer, a następnie zalogowali się do tej usługi i pobrali jeden ściśle tajny plik, nad którym pracowałem, byłoby to dość trudne do znalezienia. Zasadniczo wystarczająco zdeterminowany atakujący może sprawić, że jego natrętne zachowanie będzie prawie arbitralnie zbliżone do normalnego zachowania systemu.

Co więcej, twoi przeciwnicy są inteligentnymi, a nie statystycznymi procesami, więc jeśli zaczniesz wykrywać jakiś wzór i go wyłączać, mogą po prostu zareagować, nie przestrzegając już tego wzoru. Dlatego na przykład zobaczysz wiele wiadomości spamowych ze spacjami między wszystkimi literami (oferującymi „ V I A G R A” lub cokolwiek innego). Filtry antyspamowe odkryły, że ciąg „viagra” był spamem, więc napastnicy właśnie zaczęli robić coś innego.

Z tego powodu uważam, że warto zastanowić się nad tym, jakie rodzaje intruzów uważasz, że warto spróbować je wykryć. Na pewno są tutaj nisko wiszące owoce, więc nie pozwól, aby doskonały był wrogiem dobra i spróbuj wymyślić algorytm, który może wykryć wszystkie włamania.

Poza tym porozmawiajmy o nisko wiszącym owocu. Tutaj myślę, że może być produktywne dla ciebie, aby przenieść jednostkę analizy z pojedynczych rekordów do grupy rekordów.

Na przykład powiedziałeś, że połowa wszystkich rekordów ma unikalne kombinacje pól. Ale przypuszczalnie na przykład większość źródłowych adresów IP pojawia się w więcej niż jednym rekordzie - to inne pola w żądaniu zmieniają się i sprawiają, że kombinacja jest unikalna. Jeśli grupujesz wnioski według adresów IP, możesz zadawać pytania takie jak:

• Czy niektóre adresy IP wydają się uwierzytelniać jako niezwykle wielu użytkowników (lub wyjątkowo niewielu)?
• Czy w niektórych adresach IP występuje wyjątkowo duża liczba niepowodzeń uwierzytelniania?
• Czy niektóre adresy IP mają nietypowy wzór czasów dostępu (na przykład dużo aktywności około 3 nad ranem w strefie czasowej lub żądania co 1 sekundę w ciągu dnia)?

Możesz robić podobne rzeczy dla innych grup, takich jak nazwa użytkownika:

• Czy ten użytkownik uwierzytelnia się z innego komputera, gdy wcześniej używał tego samego komputera do wszystkich żądań?
• Czy ten użytkownik nagle dotyka części systemu plików, której nigdy wcześniej nie dotknął?

Nie znam żadnych gotowych klasyfikatorów, które wydają się szczególnie do tego odpowiednie, ponieważ potencjalne zachowanie użytkowników jest tak zróżnicowane i prawdopodobnie najbardziej interesują Cię zmiany zachowań w czasie. Oznacza to, że prawdopodobnie chcesz zbudować jakiś model tego, co każdy użytkownik / adres IP / cokolwiek może zrobić w przyszłości, i oznaczyć wszelkie odchylenia od tego modelu. Ale to dość intensywny proces, jeśli użytkownicy mają różne wzorce zachowań!

Z powodu tej trudności myślę, że na razie bardziej wydajne może być wykonanie analizy w trybie eksploracyjnym, którą opisałem powyżej. To prawdopodobnie poinformuje cię o tym, jakie typy wzorców są najciekawsze, a następnie możesz zacząć używać fantazyjnych algorytmów statystycznych do wykrywania tych wzorców.

Myślę, że przede wszystkim musisz mieć zestaw danych, który rejestruje dane przez okres bez ataków. Ten zestaw danych powinien przechwytywać wariacje właściwe dla normalnego działania systemu. Chciałbym podkreślić, że nie chodzi o posiadanie zestawu danych z adnotacjami.

Następnie spróbuję połączyć wszystkie (lub podzbiory) metryk w jeden. Ta nowa metryka powinna odzwierciedlać ilość „zaskoczenia”. Na przykład niska wartość oznacza, że ​​system działa normalnie, wartość szczytowa / plateau o wysokiej wartości oznacza, że ​​nastąpiła szybka zmiana. Mam na myśli wykresy w stylu wykresów CUSUM lub Shewhart.

Czy możesz podać przykłady dostępnych danych? Czy to głównie łańcuchy, liczby, wskaźniki 1/0?

Możliwe jest nauczenie się bayesowskiej sieci między funkcjami, biorąc pod uwagę pewne dane w tle bez ataków. Nauka sieci bayesowskiej jest przydatna, ponieważ uwalnia warunkową niezależność między funkcjami. Dlatego nie masz do czynienia z każdą możliwą kombinacją funkcji. Na przykład, jeśli funkcja A wpływa na B i C, a funkcje B i C razem wpływają na D, to uczysz się modelu, w jaki sposób A wpływa na B, jak wpływa na C i jak B i C łącznie wpływają na D. Ten model będzie wymagał znacznie mniej parametry niż cały rozkład prawdopodobieństwa i jest głównym powodem, dla którego stosuje się sieci bayesowskie zamiast tylko przechowywania całego łącznego rozkładu prawdopodobieństwa. Aby przetestować anomalię w przypadku sieci bayesowskiej, oblicz prawdopodobieństwo nadejścia punktu danych przy użyciu wyuczonego modelu sieci bayesowskiej. Jeśli prawdopodobieństwo jest bardzo niskie,

Myślałem, że odpowiedź Bena Kuhna była pragmatyczna i wnikliwa.

Teraz moje własne doświadczenie obejmuje klasyfikację tekstu, systemy eksperckie, klastrowanie i bezpieczeństwo. Biorąc pod uwagę to tło, ja lubię myśleć, że może mam coś do dodania do rozmowy. Jednak poprzednie stwierdzenia Bena Kuhna podkreślają, że proste podejście może wywołać wiele fałszywych trafień. Personel IT, w obliczu wielu fałszywych alarmów, zwykle „wycisza się”, ponieważ po prostu nie ma czasu na ściganie fałszywych alarmów.

Co więc zrobić?

Z pewnością dzienniki zawierające ataki mogą być pomocne, ale wtedy mamy catch-22, chyba że firmy w jakiś sposób udostępnią dane o atakach. Podczas gdy niektóre start-upy z Doliny Krzemowej mogą dążyć do takiego podziału zagrożeń, co jeszcze możemy zrobić?

Jednym z możliwych podejść jest stworzenie symulacji sieci, a następnie znalezienie sposobu na wygenerowanie ataków przeciwko symulacji. To znaczy, załóżmy, że tworzymy symulację, w której czarne czapki (również symulowane) nie są wcześniej znane białym czapkom. Biorąc pod uwagę te ataki, możemy następnie spróbować stworzyć algorytmy, które powinny wykryć te ataki. Jeśli czarne czapki działają niezależnie od białych czapek, wtedy mamy prawdziwą bitwę, która się rozegra. Jeśli atakujący włamią się do systemu lub nie zostaną wykryci, białe czapki poniekąd zawiodły.

Można nawet mieć strukturę motywacyjną, gdy analitycy bezpieczeństwa w zespole czarnego kapelusza są nagradzani za ich sukcesy (bryczesy lub nieodkryte ataki). Podobnie grupa składająca się z białych czapek jest nagradzana za zatrzymywanie bryczesów i / lub wykrywanie ataków.

W tym układzie nie ma nic idealnego. Oczywiście prawdziwe czarne czapki mogą przekroczyć talenty „przyjaznego” zespołu czarnych kapeluszów. Niemniej jednak, jako osoba, która ma dużą analizę danych, wydaje mi się, że bardzo trudno jest oszacować sukces białych czapek bez lepszego zrozumienia czarnych czapek. Najważniejsze jest to. Jeśli nie wiemy, co robią prawdziwe czarne czapki, następną najlepszą rzeczą są przyjazne czarne czapki.

Mam też dość nietypowy pomysł. Przypuśćmy, że oprócz przyjaznych czarnych czapek i białych czapek istnieje zespół szarego kapelusza. Co to znaczy być szarym kapeluszem? Pomysł jest prosty. Szare czapki mogą patrzeć na to, co robią przyjazne czarne czapki i białe czapki. Ale dlaczego?

Załóżmy, że przyjazne czarne kapelusze przeprowadzają ataki przy użyciu podejść A, B i C, a białe kapelusze nigdy nie odkrywają żadnego z tych trzech podejść. Cóż, szare czapki mają uprawnienia do patrzenia na to, co robią zarówno przyjazne czarne czapki, jak i białe czapki, i próbują zastanowić się, jakie zasady można zastosować, aby odkryć te niewykryte ataki. Jeśli szary kapelusz znajdzie takie zasady, zespół szarego kapelusza może następnie podzielić się tymi zasadami z zespołem białego kapelusza bez szczegółowego opisu dokładnych ataków.

Mamy nadzieję, że te „wskazówki” dostarczone przez zespół z szarym kapeluszem popchną zespół z białym kapeluszem we właściwym kierunku, nie ujawniając zbyt wiele.

Z perspektywy czasu przepraszam, jeśli moja odpowiedź tak naprawdę nie dotyczy konkretnych technik. Oczywiście moja odpowiedź nie dotyczy konkretnych technik. Ale z mojego doświadczenia wynika, że ​​wiele problemów w uczeniu maszynowym - w tym w zakresie bezpieczeństwa - często kończy się niepowodzeniem, ponieważ dane są niewystarczające. Takie podejście, przy użyciu białych czapek, szarych czapek i czarnych czapek, może pomóc w uzyskaniu danych, które pozwoliłyby firmie ochroniarskiej (lub personelowi IT) nie tylko oszacować skuteczność ich obrony, ale zapewnić strukturę organizacyjną, która popycha zespół białego kapelusza do stopniowej poprawy ich obrony i monitorowania.

Naprawdę nie mam pojęcia, czy proponowane przeze mnie podejście jest oryginalne. Nigdy nie słyszałem o szarych czapkach, ale tak naprawdę uważam, że rola szarych czapek może mieć kluczowe znaczenie dla popychania białej drużyny do przodu, bez ujawniania zbyt wiele.

Uwaga: moje użycie tutaj terminu „szary kapelusz” nie jest standardowe. Zobacz http://www.howtogeek.com/157460/hacker-hat-colors-explained-black-hats-white-hats-and-gray-hats/ . Dlatego zamiast tego należy użyć innego terminu, być może „kapelusz w paski”.

Ale wciąż pomysł pozostaje ten sam: kapelusz w paski może pomóc w pośredniczeniu między pracą przyjaznych czarnych czapek a obrońcami (białymi czapkami), dzięki czemu niektóre pomysły i wskazówki można rozsądnie udostępnić białym czapkom.

Ponieważ opublikowałem oryginalne pytanie, przeprowadziłem wiele badań na ten temat i mogę teraz podać moje wyniki jako odpowiedź.

Przede wszystkim w naszym laboratorium opracowujemy system SIEM, który wykorzystuje algorytmy wykrywania anomalii. Opis systemu i algorytmów jest dostępny w moim artykule W kierunku systemu do kompleksowej analizy zdarzeń bezpieczeństwa w sieciach na dużą skalę

Poza tym w odpowiedzi na podobne pytanie na temat Cross Validated napisałem krótkie podsumowanie dotyczące postępowania z takimi danymi