Jak witryny wykrywają boty za serwerami proxy lub sieciami firmowymi

Jak duże witryny (np. Wikipedia) radzą sobie z botami, które stoją za innym maskowaniem adresów IP? Na przykład na moim uniwersytecie wszyscy przeszukują Wikipedię, co powoduje znaczne obciążenie. Ale, o ile mi wiadomo, Wikipedia może znać tylko adres IP routera uniwersyteckiego, więc jeśli skonfiguruję „uwolnionego” bota (z niewielkim opóźnieniem między żądaniami), czy Wikipedia może zbanować mojego bota bez banowania całej organizacji? czy strona faktycznie może zablokować adres IP poza siecią organizacyjną?

Nie, zablokują publiczny adres IP, a każdy, kto ma NAT do tego adresu, również zostanie zbanowany.

Chociaż przynajmniej na stosie, jeśli uważamy, że mamy zamiar zakazać college'u lub czegoś podobnego, skontaktujemy się z nimi w sprawie nadużycia, aby zmusić ich do wyśledzenia sprawcy i zatrzymania problemu.

Witryna nie może bezpośrednio zablokować adresu IP, który stoi za NAT. Może działać na adresy IP przekazywane przez anonimowe serwery proxy HTTP - gdy taki serwer proxy przesyła dalej żądanie, zwykle dołącza ten adres do nagłówka X-Forwarded-For, więc jeśli dostęp z Twojej sieci prywatnej musi faktycznie przejść przez taki proxy może zostać ujawnione wewnętrzne IP; jednak większość stron (w tym wikipedia) i tak nie ufałaby informacjom w tym nagłówku, ponieważ łatwo jest sfałszować domniemane niewinne adresy IP lub uniknąć zakazów.

Istnieją jednak inne techniki, które próbują jednoznacznie zidentyfikować użytkowników niezależnie od adresu IP. Możesz zapytać przeglądarkę internetową o wiele informacji na jej temat oraz o systemie, na którym działa, na przykład o kliencie użytkownika, rozdzielczości ekranu, liście wtyczek itp. - patrz https://github.com/carlo/jquery- odcisk palca przeglądarkina przykład w praktyce. Możesz użyć takich odcisków palców do kontrolowania dostępu, choć w zależności od projektu witryny możesz z nim współpracować bez angażowania się w proces pobierania odcisków palców, a nawet jeśli nie możesz, bot może dostarczyć fałszywych i losowych danych, aby uniknąć posiadania spójny odcisk palca, jeśli zdajesz sobie sprawę, że istnieje taka ochrona. Ta metoda kontroli stwarza również ryzyko fałszywych alarmów, szczególnie w przypadku urządzeń mobilnych, na których prawdopodobnie będzie duża liczba klientów obsługujących identycznych klientów giełdowych na identycznym magazynie sprzętowym (większość osób na konkretnym modelu iPhone'a z określoną wersją systemu iOS , na przykład prawdopodobnie otrzymałby ten sam odcisk palca).

Zasadniczo adres IP nie wystarcza do prawidłowego zablokowania. Tak więc zaawansowane sieci działają wysoko na stosie sieci.

Atak typu „odmowa usługi” (DoS), o który martwisz się tworzeniem go, jest zwykle obsługiwany przez ograniczenie prędkości początkowej konfiguracji połączenia TCP. Oznacza to, że legalni użytkownicy, którzy są gotowi czekać, przejdą, podczas gdy ci, którzy tylko próbują wykorzystać zasoby serwera, są spowolnieni do tego stopnia, że ​​stają się nieszkodliwi. To właśnie wtedy DoS przekształciło się w atak Distributed DoS (DDoS).

Po nawiązaniu połączenia z serwerem możesz wykonać dowolną liczbę żądań, administracja serwera WWW może skonfigurować liczbę żądań do obsłużenia.

Serwer sieci prawdopodobnie i tak może obsłużyć większą pojemność niż brama sieci lokalnej, prawdopodobnie jest to czynnik ograniczający w twoim przypadku użycia. Założę się, że twoi administratorzy sieci uniwersyteckiej pukają do twoich drzwi, zanim zrobi to Wikipedia.

Ważne jest, aby być dobrym obywatelem Internetu, więc dodałem kod bota do bota.

Należy również zauważyć, że Wikipedia oferuje zrzuty danych, więc przeszukiwanie strony nie jest tak naprawdę konieczne.