Pytania otagowane jako robots.txt

Robots.txt to plik tekstowy używany przez właścicieli witryn do przekazywania instrukcji dotyczących ich witryny robotom internetowym. Zasadniczo informuje roboty, które części witryny są otwarte, a które zamknięte. Nazywa się to protokołem wykluczania robotów.

3
Czy podgląd Google przestrzega pliku Robots.txt?
Ponieważ na pewno wygląda tak. W przypadku moich witryn nie zezwalamy na katalog obrazów, a w podglądzie brakuje zdjęć, co sprawia, że ​​strona wygląda na nieprzyjemną. Czy tak jest w przypadku i czy istnieje sposób, aby tylko bot podglądu miał dostęp do obrazów przy użyciu pliku robots.txt? EDYCJA: Wygląda na …
1
Połącz programy użytkownika w pliku robots.txt
Czy programy klienckie mogą być wymienione razem, a ich wspólne reguły, takie jak w pliku robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
3
Czy indeks mapy witryny może zawierać inne indeksy map witryn?
Mam dwujęzyczną stronę internetową z indeksem map witryn dla każdego języka, który prowadzi do kilku różnych map witryn (jedna dla filmów, jedna dla treści statycznych i jedna dla artykułów). Chciałbym wprowadzić kolejną mapę witryny, która łączy indeksy map witryn, aby móc połączyć tę mapę witryny w pliku robots.txt w katalogu …
1
Jak działa „Noindex:” w pliku robots.txt?
Dzisiaj natknąłem się na ten artykuł w moich wiadomościach SEO. Wydaje się to sugerować, że możesz używać Noindex:dyrektyw oprócz standardowych Disallow:dyrektyw w pliku robots.txt . Disallow: /page-one.html Noindex: /page-two.html Wygląda na to, że uniemożliwiłoby to wyszukiwarkom indeksowanie strony pierwszej, a także indeksowanie strony drugiej. Czy ta dyrektywa robots.txt jest obsługiwana …
2
Zezwalaj tylko robotom Google i Bing na indeksowanie witryny
Używam następującego pliku robots.txt dla witryny: Celem jest umożliwienie googlebotowi i bingbotowi dostępu do witryny z wyjątkiem strony /bedven/bedrijf/*i zablokowanie indeksowania witryny przez inne boty. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bingbot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bing Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: …
3
Jak mogę użyć pliku robots.txt, aby zabronić tylko subdomeny?
Moja baza kodu jest podzielony między kilku środowiskach (na żywo, inscenizacja, odchylenie) i subdomen ( staging.example, dev.exampleetc.) i tylko dwa powinny być dopuszczone do przeszukania (tj. www.exampleA example). Zwykle modyfikowałbym /robots.txti dodawał Disallow: /, ale z powodu wspólnej bazy kodu nie mogę modyfikować /robots.txtbez wpływu na wszystkie (pod) domeny. Wszelkie …
6
Jak poprawnie (nie) zezwolić botowi archive.org? Czy coś się zmieniło, jeśli tak, to kiedy?
Mam stronę internetową, w której przeważnie nie chcę być indeksowana przez wyszukiwarki, ale chcę ją zachować na wieczność na archive.org. Więc robots.txtzaczynam od tego: User-agent: * Disallow: / Dzisiaj, zgodnie z archive.org, muszę dodać następujące w moim, robots.txtaby pozwolić ich botom: User-agent: ia_archiver Disallow: Ale już zrobiłem to, co wskazali …
10
Muszę powstrzymać roboty przed zabiciem mojego serwera
Mam problemy z botami EXTREME na niektórych moich stronach internetowych na moim koncie hostingowym. Boty wykorzystują ponad 98% moich zasobów procesora i 99% mojej przepustowości dla całego konta hostingowego. Te boty generują ponad 1 GB ruchu na godzinę dla moich witryn. Rzeczywisty ruch ludzki dla wszystkich tych witryn jest mniejszy …
1
Czy powinienem blokować strony archiwów Wordpress w wyszukiwarkach?
Używam WordPress i /sample-post/adresów URL do moich postów i /yyyy/mm/do archiwów. Google w pełni zaindeksowało witrynę. Ponieważ archiwa wyświetlają obecnie pełne posty, pomyślałem, że nie powinienem pozwalać Google indeksować stron archiwów, ponieważ zawierają one pełne posty i będą to duplikaty treści. Zatem mój plik robots.txt zawiera: Disallow: /2009/ Disallow: /2010/ …
4
Roboty odrzucone przez domenę są nadal wymienione w wynikach wyszukiwania
Tak więc we wszystkich naszych witrynach, które nie są wyszukiwane, zastosowaliśmy plik robots.txt (zgodnie z instrukcją Jak wykluczyć witrynę z wyników wyszukiwania Google w czasie rzeczywistym? Lub inne podobne pytanie). Jeśli jednak wyszukiwane hasła są wystarczająco szczegółowe, samą domenę można znaleźć w wynikach. Przykład tego można znaleźć tutaj . Jak …
9 seo  robots.txt 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.