Jak obsłużyć wiele heterogenicznych danych wejściowych za pomocą Logstash?

Załóżmy, że masz 2 bardzo różne typy dzienników, takie jak dzienniki techniczne i biznesowe, i chcesz:

• surowe logi techniczne są kierowane do serwera graylog2 za pomocą gelfwyjścia,
• Dzienniki biznesowe json są przechowywane w klastrze Flexiblesearch przy użyciu dedykowanych elasticsearch_httpdanych wyjściowych.

Wiem, że Syslog-NGna przykład plik konfiguracyjny pozwala zdefiniować kilka różnych danych wejściowych, które następnie mogą być przetwarzane oddzielnie przed wysłaniem; co Logstashwydaje się niemożliwe. Nawet jeśli jedną instancję można zainicjować za pomocą dwóch określonych plików konfiguracyjnych, wszystkie dzienniki mają ten sam kanał i są przetwarzane w ten sam sposób ...

Czy powinienem uruchamiać tyle instancji, ile mam różnych typów dzienników?

Czy powinienem uruchamiać tyle instancji, ile mam różnych typów dzienników?

Nie! Możesz uruchomić tylko jedną instancję do obsługi różnych typów dzienników.

W pliku konfiguracyjnym logstash możesz określić każde wejście innym typem . Następnie w filtrze możesz użyć if, aby odróżnić różne przetwarzanie, a także na wyjściu możesz użyć wyjścia "if" do innego miejsca docelowego.

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

Mam nadzieję, że to ci pomoże :)

Użyłem tagów do wprowadzania wielu plików:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Myślę, że logstash nie może odczytać więcej niż 2 plików w sekcji Input. spróbuj poniżej

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}