Pytania otagowane jako web-crawlers

Program komputerowy, który uzyskuje dostęp do stron internetowych w różnych celach (do pobierania treści, dostarczania wyszukiwarkom informacji o Twojej witrynie itp.)

1
Żądanie Bingbot dla trafficbasedsspsitemap.xml, które nie istnieje
Dzienniki witryny, którą zarządzam, pokazują żądanie nieistniejącego pliku przez Bingbot. Szczegóły żądania są następujące Ścieżka: /trafficbasedsspsitemap.xml Useragent: „Mozilla / 5.0 (kompatybilny; bingbot / 2.0; + http://www.bing.com/bingbot.htm )” Adres IP: 65.55.213.244 (wyszukiwanie wsteczne rozwiązuje się na msnbot-65-55-213-244.search.msn.com ) Z jakiego powodu Bingbot szuka tego pliku? Co oznacza „Mapa witryny SSP oparta …
8
Zapobieganie robotom indeksowania określonej części strony
Jako webmaster odpowiedzialny za małą witrynę, która ma forum, regularnie otrzymuję skargi od użytkowników, że zarówno wewnętrzna wyszukiwarka, jak i zewnętrzne wyszukiwania (np. Podczas korzystania z Google) są całkowicie zanieczyszczone przez podpisy moich użytkowników (używają długich podpisy i jest to część doświadczenia forum, ponieważ podpisy mają dużo sensu na moim …
4
Czy Yahoo Search jest teraz taki sam jak Bing Search?
W przeszłości mieliśmy poważne problemy z (niewiarygodnie) źle napisanym pająkiem Yahoo , w wyniku czego je zablokowaliśmy. Marco Arment z Tumblr również podzielił się z nami swoimi frustracjami w dniu 8/31/2009, co było czynnikiem, który nas zablokował. [Yahoo's Spider] zalewa nas 70-200 żądaniami na sekundę od około 5:30 EST. Nigdy …
6
Dobre narzędzie do indeksowania mojej witryny i pomoc w znajdowaniu martwych linków i niepowiązanych plików [zamknięte]
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym wymiany stosów przez webmasterów. Zamknięte 6 lat temu . Mam dość dużą starą witrynę z dosłownie tysiącami plików PDF, które czasem stanowią dane w bazie danych, ale często …
3
Czy można spowolnić częstotliwość indeksowania Baiduspider?
Wiele zrobiono z częstotliwości czołgania się pająków Baidu. To prawda: „Baiduspider czołga się jak szalony”. Doświadczyłem tego zjawiska w witrynach, z którymi pracuję. W co najmniej jednym przypadku odkryłem, że Baiduspider indeksuje się z mniej więcej taką samą częstotliwością jak Googlebot, pomimo faktu, że Baidu zapewnia około .1% więcej ruchu …
3
Jaki klient użytkownika powinienem ustawić?
Istnieje bot bot, który ustawia ten nagłówek: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Biorąc to pod uwagę, mam następujące pytania: Jeśli piszę przeszukiwacz sieciowy o nazwie Goofy, jakiego klienta użytkownika powinienem użyć? Jaka jest różnica, jeśli wstawię Mozilla/2.0lub Mozilla/5.0? Wszelkie inne sugestie dotyczące tego, jak sformatować mojego agenta użytkownika, aby były zgodne …
3
SEO - responsywna strona internetowa i zduplikowane menu
Ilekroć tworzę responsywną stronę internetową, zwykle tworzę 2 menu: 1 ukryte i używane na urządzenia mobilne, a drugie wyświetlane jako menu główne, a następnie ukryte, aby wyświetlić menu mobilne. Ilekroć chodzi o SEO i pająki poruszające się po stronie, czy mam ochotę mieć duplikaty menu? Czy jest coś, co mogę …
3
Czy plik robots.txt może znajdować się w podkatalogu serwera?
Mam podkatalog, który chciałbym ukryć przed robotami indeksującymi wyszukiwarki. Jednym ze sposobów jest skorzystanie robots.txtz katalogu głównego serwera (standardowy sposób). Jednak każdy, kto zna adres URL witryny i ma podstawową wiedzę o sieci, może uzyskać dostęp do zawartości pliku robots.txt i dostrzec niedozwolone katalogi. Pomyślałem, jak tego uniknąć, ale nie …
7
Jak blokować pająki Baidu
Większość moich wizyt pochodzi od pająków baidu. Nie wydaje mi się, żeby to w ogóle pomogło wyszukiwarkom, więc myślę o tym, jak je zablokować. Czy można to zrobić za pomocą iptables? Używam nginx jako mojego serwera.
3
Zapobiegaj wysyłaniu spamu przez złośliwe roboty
Pamiętam stronę zamkniętą z powodu niewłaściwego użytkowania i zastanawiam się, czy boty mają tę część. Jeśli bot publikuje coś na mojej stronie, w jaki sposób mogę z tym walczyć? Myślałem o ustawieniu niektórych plików cookie i zmianie plików cookie za pomocą JavaScript + sygnatury czasowej i znaku (więc wczorajszych plików …
4
Czy pliki robots.txt i sitemap.xml mogą być dynamiczne poprzez przekierowanie .htaccess?
Mam witrynę wielojęzyczną i wielodomenową. Działa poprzez unikalną instalację CMS (Drupal), więc mam jeden katalog główny. Więc jeśli mam statyczny plik robots.txt, tam, o ile wiem, mogę wyświetlać pliki tylko dla jednej domeny. Czy mogę umieścić linię w .htaccess Redirect 301 /robots.txt /robots.php (lub równoważna instrukcja i proszę wskazać, która …
2
Czy powinienem blokować boty z mojej strony i dlaczego?
Moje logi są pełne gości botów, często z Europy Wschodniej i Chin. Boty są identyfikowane jako Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou i tak dalej. Czy powinienem blokować te boty z mojej strony i dlaczego? Które mają uzasadniony cel polegający na zwiększeniu ruchu na mojej stronie? Wiele z nich to SEO. …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.