Pytania otagowane jako user-agent

4
Czy Yahoo Search jest teraz taki sam jak Bing Search?
W przeszłości mieliśmy poważne problemy z (niewiarygodnie) źle napisanym pająkiem Yahoo , w wyniku czego je zablokowaliśmy. Marco Arment z Tumblr również podzielił się z nami swoimi frustracjami w dniu 8/31/2009, co było czynnikiem, który nas zablokował. [Yahoo's Spider] zalewa nas 70-200 żądaniami na sekundę od około 5:30 EST. Nigdy …
3
Jaki klient użytkownika powinienem ustawić?
Istnieje bot bot, który ustawia ten nagłówek: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Biorąc to pod uwagę, mam następujące pytania: Jeśli piszę przeszukiwacz sieciowy o nazwie Goofy, jakiego klienta użytkownika powinienem użyć? Jaka jest różnica, jeśli wstawię Mozilla/2.0lub Mozilla/5.0? Wszelkie inne sugestie dotyczące tego, jak sformatować mojego agenta użytkownika, aby były zgodne …
2
Czy powinienem blokować boty z mojej strony i dlaczego?
Moje logi są pełne gości botów, często z Europy Wschodniej i Chin. Boty są identyfikowane jako Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou i tak dalej. Czy powinienem blokować te boty z mojej strony i dlaczego? Które mają uzasadniony cel polegający na zwiększeniu ruchu na mojej stronie? Wiele z nich to SEO. …
4
Interpretacja pustego klienta użytkownika
Jak mam interpretować pustego klienta użytkownika? Mam jakiś niestandardowy kod analityczny, który musi analizować tylko ruch ludzki. Mam działającą listę programów klienckich oznaczających ruch ludzi i botów, ale pusty agent użytkownika okazuje się problematyczny. Dostaję duży ruch z pustym klientem użytkownika, około 10%. Dodatkowo, stworzyłem listę agentów ruchu ludzkiego w …
1
Połącz programy użytkownika w pliku robots.txt
Czy programy klienckie mogą być wymienione razem, a ich wspólne reguły, takie jak w pliku robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
2
Znak plus przed adresami URL w klientach użytkownika
Prowadzę mały przeszukiwacz sieci i musiałem zdecydować, jakiego klienta użytkownika użyć. Listy agentów przeszukiwaczy oraz Wikipedia sugerują następujący format: examplebot/1.2 (+http://www.example.com/bot.html) Jednak niektóre boty pomijają znak plus przed adresem URL. Zastanawiam się, co to w ogóle znaczy, ale nie mogłem znaleźć żadnego wyjaśnienia. RFC 2616 traktuje wszystko w nawiasie jako …
3
Taktyka postępowania z robotami źle zachowującymi się
Mam witrynę, która ze względów prawnych może nie być indeksowana lub wyszukiwana automatycznie. Oznacza to, że musimy trzymać wszystkie roboty z daleka i zapobiegać pająkowi witryny. Oczywiście mieliśmy plik robots.txt, który od samego początku uniemożliwia. Jednak obserwowanie pliku robots.txt jest czymś, co robią tylko dobrze wychowane roboty. Ostatnio mieliśmy problemy …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.