W przeszłości mieliśmy poważne problemy z (niewiarygodnie) źle napisanym pająkiem Yahoo , w wyniku czego je zablokowaliśmy. Marco Arment z Tumblr również podzielił się z nami swoimi frustracjami w dniu 8/31/2009, co było czynnikiem, który nas zablokował.
[Yahoo's Spider] zalewa nas 70-200 żądaniami na sekundę od około 5:30 EST. Nigdy nie widziałem czegoś takiego, nawet od ich nieuczciwych „eksperymentalnych” robotów, które wykorzystywały nas w przeszłości. Ban Robots.txt nie wystarczy: muszę zablokować je za pomocą adresu IP na poziomie modułu równoważenia obciążenia. Ponieważ w przeszłości wykorzystywali Przepełnienie stosu, pomyślałem, że możesz chcieć wiedzieć.
Wygląda na to, że wyszukiwarka Yahoo to „Powered by Bing!” teraz. To dobrze, ponieważ nigdy nie mieliśmy problemu z pająkiem Binga (znanym również jako MSNBOT).
Czy wyszukiwanie Yahoo jest teraz takie samo, jak wyszukiwanie Bing, czy też powinniśmy zastanowić się nad ich odblokowaniem, jeśli wbrew wszelkim przeciwom przestali ssać tak mocno?