Masowy atak 404 z nieistniejącymi adresami URL. Jak temu zapobiec?

Problemem jest cały ładunek 404 błędów, zgłaszanych przez Google Webmaster Tools, ze stronami i zapytaniami, które nigdy tam nie były. Jednym z nich jest viewtopic.php, a także zauważyłem straszną liczbę prób sprawdzenia, czy strona jest witryną WordPress ( wp_admin) i logowania cPanel. Już blokuję TRACE, a serwer jest wyposażony w pewną ochronę przed skanowaniem / hakowaniem. Jednak to się nie kończy. Według Google Webmastera strona odsyłająca to totally.me.

Szukałem rozwiązania tego problemu, ponieważ z pewnością nie jest to dobre dla biednych rzeczywistych użytkowników, nie mówiąc już o obawach związanych z SEO.

Korzystam z czarnej czarnej listy Perishable Press ( tutaj ), standardowego programu blokującego odsyłacze (dla stron pornograficznych, ziołowych, kasynowych), a nawet niektórych programów do ochrony strony (blokowanie XSS, wstrzykiwanie SQL itp.). Serwer używa również innych środków, więc można by założyć, że strona jest bezpieczna (miejmy nadzieję), ale to się nie kończy.

Czy ktoś jeszcze ma ten sam problem, czy tylko ja to widzę? Czy to jest to, co myślę, to znaczy jakiś atak? Czy istnieje sposób, aby to naprawić lub lepiej zapobiec marnowaniu zasobów?

EDYCJA Nigdy nie użyłem pytania, aby podziękować za odpowiedzi i mam nadzieję, że da się to zrobić. Dziękuję wszystkim za wnikliwe odpowiedzi, które pomogły mi znaleźć wyjście z tego. Postępowałem zgodnie z sugestiami wszystkich i wdrożyłem:

• plaster miodu
• skrypt, który nasłuchuje podejrzanych adresów URL na stronie 404 i wysyła mi wiadomość e-mail z agentem użytkownika / ip, jednocześnie zwracając standardowy nagłówek 404
• skrypt nagradzający legalnych użytkowników na tej samej niestandardowej stronie 404, na wypadek gdyby kliknęli jeden z tych adresów URL. W ciągu mniej niż 24 godzin udało mi się wyodrębnić niektóre podejrzane adresy IP, wszystkie wymienione w Spamhaus. Wszystkie dotychczas zarejestrowane adresy IP należą do firm hostingowych VPS ze spamem.

Jeszcze raz dziękuję, przyjąłbym wszystkie odpowiedzi, gdybym mógł.

Często widzę inną witrynę, która prowadzi do wielu stron w mojej witrynie, które nie istnieją. Nawet jeśli klikniesz tę stronę i nie widzisz linku:

• Witryna mogła wcześniej mieć te linki
• Witryna może maskować i udostępniać te linki tylko Googlebotowi, a nie odwiedzającym

To marnotrawstwo zasobów, ale nie pomyli Google i nie zaszkodzi twoim pozycjom. Oto, co John Mueller z Google (który pracuje nad Narzędziami dla webmasterów i mapami witryn) ma do powiedzenia o błędach 404 pojawiających się w narzędziach dla webmasterów :

WSPARCIE! MOJA STRONA MA 939 BŁĘDÓW WYCIĄGANIA !! 1

Widzę tego rodzaju pytania kilka razy w tygodniu; nie jesteś sam - wiele witryn ma błędy indeksowania.

1. Błędy 404 w nieprawidłowych adresach URL w żaden sposób nie naruszają indeksowania ani rankingu witryny . Nie ma znaczenia, czy jest ich 100, czy 10 milionów, nie zaszkodzą one rankingu witryny. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. W niektórych przypadkach błędy indeksowania mogą wynikać z uzasadnionego problemu strukturalnego w witrynie lub systemie CMS. Jak to powiedzieć Sprawdź dokładnie przyczynę błędu indeksowania. Jeśli w Twojej witrynie jest uszkodzony link, w statycznym kodzie HTML strony, zawsze warto to naprawić. (dzięki + Martino Mosna )
3. A co z funky, które są „wyraźnie uszkodzone”? Gdy nasze algorytmy, takie jak Twoja witryna, mogą próbować znaleźć na niej więcej świetnych treści, na przykład próbując odkryć nowe adresy URL w JavaScript. Jeśli wypróbujemy te „adresy URL” i znajdziemy 404, to jest świetne i oczekiwane. Po prostu nie chcemy przegapić niczego ważnego (wstaw tutaj nadmiernie załączony mem Googlebota). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Nie musisz naprawiać błędów indeksowania w Narzędziach dla webmasterów. Funkcja „oznacz jako ustaloną” służy wyłącznie pomocą, jeśli chcesz śledzić swoje postępy; nic nie zmienia w naszym potoku wyszukiwania w sieci, więc możesz go zignorować, jeśli go nie potrzebujesz. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Błędy indeksowania wyświetlamy w Narzędziach dla webmasterów według priorytetów, które są oparte na kilku czynnikach. Jeśli pierwsza strona błędów indeksowania jest wyraźnie nieistotna, prawdopodobnie nie znajdziesz ważnych błędów indeksowania na kolejnych stronach. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Nie ma potrzeby „naprawiania” błędów indeksowania w witrynie. Znalezienie 404 jest normalne i oczekuje się od zdrowej, dobrze skonfigurowanej strony internetowej. Jeśli masz równoważny nowy adres URL, dobrym pomysłem jest przekierowanie do niego. W przeciwnym razie nie powinieneś tworzyć fałszywych treści, nie powinieneś przekierowywać na swoją stronę główną, nie powinieneś robots.txt blokować tych adresów URL - wszystkie te rzeczy utrudniają nam rozpoznanie struktury Twojej witryny i prawidłowe jej przetwarzanie. Nazywamy te „miękkimi błędami 404”. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Oczywiście - jeśli te błędy indeksowania pojawiają się w przypadku adresów URL, na których Ci zależy, być może adresów URL w pliku mapy witryny, należy natychmiast podjąć odpowiednie działania. Jeśli Googlebot nie może zaindeksować ważnych adresów URL, mogą zostać usunięte z naszych wyników wyszukiwania i użytkownicy mogą nie mieć do nich dostępu.

Istnieje mnóstwo skryptów optymistycznie skanujących losowe adresy IP w Internecie w celu znalezienia luk znanych z różnego rodzaju oprogramowania. W 99,99% przypadków nic nie znajduje (jak na Twojej stronie), a przez 0,01% czasu skrypt będzie pnnował maszynę i zrobi wszystko, co chce kontroler skryptu. Zazwyczaj skrypty te są uruchamiane przez anonimowe botnety z komputerów, które wcześniej były pwnd, a nie z rzeczywistej maszyny oryginalnego skryptu kiddie.

Co powinieneś zrobić?

1. Upewnij się, że Twoja witryna nie jest zagrożona. Wymaga to stałej czujności.
2. Jeśli powoduje to tak duże obciążenie, że wpływa to na normalną wydajność witryny, dodaj regułę blokowania opartą na protokole IP, aby uniknąć akceptowania połączeń z określonej witryny.
3. Naucz się filtrować skany w poszukiwaniu CMD.EXE, cPanel lub phpMyAdmin lub mnóstwa innych luk podczas przeglądania dzienników serwera.

Wydaje się, że wierzysz, że każde 404 zwrócone z twojego serwera komukolwiek wpłynie na to, co Google myśli o Twojej stronie. To nie jest prawda. Tylko 404 zwrócone przez roboty Google i być może użytkownicy Chrome będą mieć wpływ na Twoją witrynę. Tak długo, jak wszystkie linki w Twojej witrynie są poprawnymi linkami i nie unieważniasz linków, które wcześniej udostępniłeś światu, nie zobaczysz żadnego wpływu. Boty skryptowe w żaden sposób nie rozmawiają z Google.

Jeśli zostaniesz zaatakowany w prawdziwy sposób, musisz zarejestrować się w jakiejś usłudze dostawcy łagodzenia DoS. Verisign, Neustar, CloudFlare i Prolexic to wszyscy dostawcy, którzy mają różne plany na różne rodzaje ataków - od prostego proxy internetowego (który może być nawet wolny od niektórych dostawców) po DNS oparty na filtrowaniu na żądanie, aż do pełnego BGP oparte na huśtawkach punktu obecności, które wysyłają cały ruch przez „szorowanie” centrów danych z regułami ograniczającymi ataki.

Ale z tego, co mówisz, wynika, że ​​po prostu widzisz normalne skrypty podatności, które każdy adres IP w Internecie zobaczy, jeśli nasłuchuje na porcie 80. Możesz dosłownie zainstalować nową maszynę, uruchomić pusty Apache, w ciągu kilku godzin zaczniesz widzieć te wiersze w dzienniku dostępu.

To prawdopodobnie nie jest atak, ale skan lub sonda.

W zależności od skanera / sondy może być łagodny, co oznacza, że ​​po prostu szuka problemów w pewnego rodzaju zdolności badawczej lub może mieć funkcję automatycznego ataku, jeśli znajdzie otwór.

Przeglądarki internetowe umieszczają prawidłowe informacje o polecających, ale inne programy mogą po prostu wymyślić dowolne polecające.

Strona odsyłająca jest po prostu informacją, która jest opcjonalnie dostarczana przez programy uzyskujące dostęp do Twojej witryny. Mogą to być dowolne ustawienia, takie jak totally.melub random.yu. Może to być nawet prawdziwa strona internetowa, którą właśnie wybrali.

Naprawdę nie możesz tego naprawić ani temu zapobiec. Jeśli spróbujesz zablokować każde żądanie tego typu, będziesz musiał utrzymywać bardzo dużą listę i nie warto.

Tak długo, jak Twój host nadąża za łatkami i zapobiega lukom, nie powinno to powodować żadnych faktycznych problemów.

Rzeczywiście to brzmi jak szaleństwo botów. Trafiły nas również tysiące adresów IP na wielu hostach, najprawdopodobniej nieznanych OP witryny. Zanim zaoferuję kilka pomocnych rozwiązań, jedno pytanie, które mam, to:

P: Jak widzisz 404 z całej witryny w narzędziach Google dla webmasterów? GWT jest wynikiem wyników Googlebotów, a nie wynikami innych botów. Ponadto, te inne boty nie używają JS do analiz ... czy masz jakieś API związane z GWT, gdzie możesz zobaczyć statystyki swojego serwera? Jeśli nie, może to być przyczyną alarmu, ponieważ sam Googlebot znajduje błędy.

• Jeśli są to TYLKO błędy googlebot, może to oznaczać, że ktoś umieścił linki do Twojej witryny na forach i inne obiekty, które uderzają w nią z powodu szkodliwych botów typu real-human-pc. Pomyśl o harverstor + sadzarce działającej na jakimś wyzyskiwanym serwerze, ustawiając mnóstwo celów dla przyszłych „umów spamowych” do portalu.

• Jeśli naprawdę wiesz, że raportujesz pełne statystyki serwera, potrzebujesz narzędzi. Kilka aplikacji i usług może pomóc Ci to skrócić. Zakładając, że używasz serwera Linux:

1) Zacznij dodawać obrażające adresy IP do czarnej listy htaccess. Wygląda to jak „zaprzeczaj z 192.168.1.1” i 403 zabroni ich. Nie daj się ponieść emocjom, po prostu zablokuj Biggens. Sprawdź je na stronach w kroku 4), aby upewnić się, że nie są prawdziwymi usługodawcami internetowymi. Możesz skopiować ten plik i przykleić go na dowolnym koncie / aplikacji poza zaporą ogniową.

2) Zainstaluj APF. jego zarządzanie firewallem przez SSH w systemie Linux jest naprawdę łatwe. Gdy budujesz ht, dodaj je w APF, tak jak „apf -d 192.168.1.1”. Ht wydaje się zbędny z powodu APF, ale Ht jest przenośny.

3) Zainstaluj cPanel Hulk i upewnij się, że umieściłeś na białej liście adresy IP, aby nigdy nie blokował cię, jeśli zapomnisz przepustkę. Będzie to również miłe źródło adresów IP do dodania do ht + apf. Ma kilka inteligentnych rozwiązań, dzięki czemu może inteligentnie złagodzić brutalne próby logowania.

4) Połącz się ze stopforumspam.com i projecthoneypot.org i uruchom ich moduły. Oba pomagają w wielu odrzucać znane żądania i identyfikować + zgłaszać nowe bestie / sieci / chinaspam. Są też filtry e-mail, których możesz użyć, ale Gmail jest ich właścicielem, jeśli chodzi o filtr spamu.

5) Ponieważ boty nigdy się nie poddają, chroń swoje ścieżki administracyjne. Jeśli uruchomisz Wordpress, zmień ścieżkę administratora, dodaj captcha itp. Jeśli używasz SSH, zmień port logowania na nieużywany, a następnie wyłącz logowanie do katalogu głównego SSH. Utwórz „radmin”, z którego najpierw musisz się zalogować, a następnie su w celu rootowania.

• Uwaga na temat captcha, jeśli uruchomisz własną captcha na stronie o dużej objętości i nie zaprzeczysz szaleństwu botowi na poziomie firewall / ht, mogą one hamować twoje cykle procesora z powodu generowania obrazu we wszystkich tych widżetach „antyspamowych”.

• Uwaga na temat obciążenia, jeśli uruchamiasz CentOS na serwerze i masz zdolności VPS, CloudLinux jest fantastyczny do hartowania i kontroli obciążenia. Powiedzmy, że bot się przedostaje, CageFS ma na celu ograniczenie go do konta. Powiedzmy, że zdecydowali się na DDoS ... LVE jest po to, aby utrzymać obciążenie konta (witryny) ograniczone, aby nie zawiesić serwera. To dobry dodatek do akcentowania całego systemu „zarządzania podmiotami wprowadzającymi w błąd” :)

Tylko kilka myśli, mam nadzieję, że to ci pomoże

Wyjaśnienie problemu

Przede wszystkim nie tylko ty masz ten problem - wszyscy są. To, co widziałeś, jest wynikiem zautomatyzowanych botów indeksujących każde IP i szukających typowych luk. Więc w zasadzie próbują znaleźć to, czego używasz, a jeśli użyjesz phpmyadmin, spróbują później użyć zestawu standardowych kombinacji haseł dla nazw użytkowników.

Jestem zaskoczony, że tego rodzaju rzeczy właśnie znalazłeś (być może właśnie uruchomiłeś swój serwer). Problem polega na tym, że nie można zablokować ich adresu IP na zawsze (najprawdopodobniej jest to zainfekowany komputer, a jego rzeczywisty użytkownik nie wie, co robi, istnieje również wiele takich adresów IP).

Efekt SEO

To nie ma żadnego efektu. Oznacza to po prostu, że ktoś próbował uzyskać dostęp do czegoś na twoim komputerze i nie było go tam

Czy to naprawdę ma znaczenie?

Jasne, ci ludzie próbują cię sondować pod kątem pewnych problemów. Ponadto marnują zasoby (serwer musi w jakiś sposób zareagować) i zanieczyszczają plik dziennika

Jak mam to naprawić?

Miałem ten sam problem, który próbowałem naprawić, a najlepszym narzędziem (prostota użycia w porównaniu z tym, co mogę z tym zrobić) udało mi się znaleźć, to fail2ban

Masz również szczęście, ponieważ już znalazłem sposób na rozwiązanie tego samego problemu, a nawet udokumentowałem go tutaj (więc nie musisz szukać sposobu instalacji i sposobu działania). Sprawdź moje pytanie na ServerFault . Ale proszę przeczytać trochę o fail2ban, aby wiedzieć, czy to działa.

Jak wielu już powiedziało, nie jest to atak, ale próba sondowania lub skanowania aplikacji witryny i / lub możliwości serwera. Najlepszym sposobem na odfiltrowanie całego tego niepotrzebnego ruchu i potencjalnie niebezpiecznych skanowań jest zaimplementowanie WAF (Web Application Firewall). Spowoduje to złapanie wszystkich różnych prób i oflagowanie ich, a dopiero potem wyśle ​​prawdziwy uzasadniony czysty ruch na twoje serwery i aplikację internetową.

Możesz używać opartej na chmurze usługi DNS WAF lub dedykowanych urządzeń. Osobiście używam Incapsula i F5 ASM do różnych witryn klienckich. Koszty są tak niskie, jak 500 USD miesięcznie i ogromnie pomagają. Daje to również lepszą ochronę Twoim klientom i zmniejsza zasoby na samych serwerach internetowych, co pozwoli Ci zaoszczędzić pieniądze i przyspieszyć, a ponadto urządzenia te zapewniają zgodność z PCI 6.6 i przeglądają raporty.

Mam nadzieję że to pomoże.