Próba zablokowania botów może pomóc w uwolnieniu zasobów i oczyszczeniu dzienników, należy jednak pamiętać, że plik robots.txt, a nawet użycie metatagu na stronach, noindex tak naprawdę nie powstrzymuje botów odwiedzających twoją witrynę. Nadal mogą od czasu do czasu indeksować Twoją witrynę, aby sprawdzić, czy odmowa dostępu do robotów została usunięta. Wiele botów nawet nie używa agenta użytkownika i używa standardowego agenta użytkownika. Boty, o których mówię, to zazwyczaj boty zbierające SEO, które skanują w poszukiwaniu linków zwrotnych, a nie te ogólne, które można znaleźć w wyszukiwarkach.
Zamiast blokować boty, powinieneś wziąć pod uwagę te boty podczas liczenia użytkowników, po pewnym czasie aktywnego monitorowania swojej witryny ustalasz przybliżoną liczbę botów. Większość ludzi zależy na wyjątkowych wizytach, co wyklucza boty, ponieważ ciągle wracają. W dzisiejszych czasach istnieje wiele serwerów, hosting współdzielony, który może obsługiwać te boty, inne niż strony, których nie chcesz indeksować. Nie widzę powodu, aby blokować te typy botów. Oczywiście masz również szkodliwe boty, ale z pewnością nie będą one korzystać z klienta użytkownika;).
Osobiście uważam, że blokowanie robotów to strata czasu, ponieważ w ogóle nie zużywają tak dużo zasobów, roboty SEO mogą pomóc, ponieważ wyświetlają Twoją witrynę na stronach PR0, co oczywiście zwiększa Twój PageRank i jest zautomatyzowany, abyś nie został ukarany przez nich.
Problem z dziennikami
Należy użyć odpowiedniej przeglądarki dzienników, która umożliwia odfiltrowanie określonych żądań, co ułatwia przeglądanie dzienników. Dobrzy widzowie mogą odfiltrować wiele rzeczy, takich jak normalne odwiedziny, 404 i tak dalej.