Pytania otagowane jako web-crawler

4
Czy firma sugeruje prawo do indeksowania mojej witryny?
Dowiedziałem się, że firma McAfee SiteAdvisor zgłosiła moją witrynę jako „mającą problemy z bezpieczeństwem” . Nie dbam o to, co McAfee myśli o mojej stronie (mogę ją zabezpieczyć, a jeśli nie, McAfee zdecydowanie nie jest firmą, o którą prosiłbym o pomoc, bardzo dziękuję). Niepokoi mnie jednak to, że najwyraźniej zaindeksowali …

3
Jak witryny wykrywają boty za serwerami proxy lub sieciami firmowymi
Jak duże witryny (np. Wikipedia) radzą sobie z botami, które stoją za innym maskowaniem adresów IP? Na przykład na moim uniwersytecie wszyscy przeszukują Wikipedię, co powoduje znaczne obciążenie. Ale, o ile mi wiadomo, Wikipedia może znać tylko adres IP routera uniwersyteckiego, więc jeśli skonfiguruję „uwolnionego” bota (z niewielkim opóźnieniem między …

4
Znajdowanie wszystkich zakresów adresów IP należących do określonego usługodawcy internetowego
Mam problem z pewną osobą, która w sposób agresywny nieustannie drapie moją witrynę; marnowanie przepustowości i zasobów procesora. Wdrożyłem już system, który ogłasza moje dzienniki dostępu do serwera WWW, dodaje każdy nowy adres IP do bazy danych, śledzi liczbę żądań wysłanych z tego adresu IP, a następnie, jeśli ten sam …

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.