Czy klient użytkownika w jakiejkolwiek zwykłej przeglądarce zawiera „bot” lub „crawl”?

Czy klient użytkownika w jakiejkolwiek zwykłej przeglądarce zawiera „bot” lub „crawl”?

Sprawdzam agenta użytkownika w mojej witrynie, aby sprawdzić, czy pochodzi on od bota, czy nie. Jeśli tak, mogę wykonać kilka drobnych optymalizacji, ponieważ się nie logują. (W ogóle nie zmieniam treści)

Po dodaniu czeków dla 30-40 + botów, mam już dość ich dodawania. Zastanawiałem się więc, czy sprawdzanie, czy zawiera tylko „bota” czy „czołganie się”. Wiem, że nie dostaną wszystkich botów, ale dostałby ich dużo. Ale jeśli mogłoby to spowodować jakiekolwiek fałszywe alarmy, całkowicie zepsułoby to możliwość dodania do koszyka, złożenia zamówienia i zalogowania się.

Zgodnie z listą na stronie http://www.useragentstring.com/pages/useragentstring.php?typ=Browser z ponad 9000 ciągów klienta użytkownika z różnych przeglądarek:

• 0 ciągi użytkownika przeglądarki zawierają słowo „bot”
• 2 ciągi przeglądarki użytkownika zawierają słowo „indeksuj”
• 0 ciągi znaków przeglądarki użytkownika zawierają słowo „pająk”

(2, które zawiera „indeksowanie” to: „Mozilla / 4.0 (kompatybilny; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)” i „Mozilla / 4.0 (kompatybilny; MSIE 5.01; Windows NT 5.0; MSIECrawler ) „Myślę, że nie można ich brać pod uwagę.)

Zgodnie z listą na stronie http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler z 442 ciągami agenta użytkownika wymienionymi jako boty:

• 208 ciągów znaków botów użytkownika zawiera słowo „bot”
• 63 ciągi znaków botów użytkownika zawierają słowo „czołganie się”
• 37 ciągów użytkownika botów zawiera słowo „pająk”
• 282 ciągów użytkownika botów zawiera „bot”, „crawl” lub „spider”

Mój wniosek: bezpieczne jest filtrowanie botów według ciągów agenta użytkownika według słów „bot”, „crawl” i „spider”. Nie jest kuloodporny, ale zdecydowanie lepszy niż nic.

Uwaga: podczas wyszukiwania słów kluczowych użyłem wyszukiwania bez rozróżniania wielkości liter.

Lepszym rozwiązaniem IMO byłoby wykrycie, czy użytkownik jest zalogowany. Jeśli nie, pokaż standardową stronę (może to być buforowane). Żaden pająk internetowy nigdy się nie zaloguje, ale jeśli optymalizujesz je, dlaczego nie dla nowych użytkowników Twojej witryny?

To pytanie z przepełnienia stosu powinno pomóc: „ Czy istnieje baza danych agenta użytkownika online? ”

Możesz szybko zeskanować bazę danych i dowiedzieć się (lub zaimportować).