Pytania otagowane jako robots.txt

Robots.txt to plik tekstowy używany przez właścicieli witryn do przekazywania instrukcji dotyczących ich witryny robotom internetowym. Zasadniczo informuje roboty, które części witryny są otwarte, a które zamknięte. Nazywa się to protokołem wykluczania robotów.

4
Pliki, które powinienem mieć na każdej stronie internetowej
Chciałbym mieć listę plików, które powinny istnieć na każdej stronie internetowej. Chodzi o to, aby zadowolić większość przeglądarek i botów i uzyskać liczbę 404 wiadomości w dziennikach. Do tej pory mam następujące pliki: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Czy są inne pliki, o które często się proszą i …




2
Jak zablokować cały katalog w pliku robots.txt?
Mam dwie witryny, nad którymi obecnie pracuję, a mianowicie koszyk na zakupy i inny klient. Oba są pod tą samą nazwą domeny, na przykład http://example.com/first_url http://example.com/second_url Oba te adresy URL mają pod sobą mnóstwo stron http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Jak zabronić głównego adresu URL, /first_urla /second_urltakże wszystkich podstron …
19 seo  robots.txt 


7
Czy Google buforuje plik robots.txt?
Dodałem plik robots.txt do jednej z moich witryn tydzień temu, co powinno uniemożliwić Googlebotowi próby pobrania niektórych adresów URL. Jednak w ten weekend widzę, że Googlebot ładuje te dokładne adresy URL. Czy Google buforuje plik robots.txt, a jeśli tak, to powinien?

3
Czy plik robots.txt może znajdować się w podkatalogu serwera?
Mam podkatalog, który chciałbym ukryć przed robotami indeksującymi wyszukiwarki. Jednym ze sposobów jest skorzystanie robots.txtz katalogu głównego serwera (standardowy sposób). Jednak każdy, kto zna adres URL witryny i ma podstawową wiedzę o sieci, może uzyskać dostęp do zawartości pliku robots.txt i dostrzec niedozwolone katalogi. Pomyślałem, jak tego uniknąć, ale nie …

4
Witryna została zaatakowana przez hakerów. Musisz usunąć wszystkie adresy URL zaczynające się od + z Google, użyć robots.txt?
Czy możesz dać mi znać, jak zablokować takie adresy URL, robots.txtaby Googleboty przestały indeksować? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Moja witryna została zaatakowana przez hakerów, co zostało odzyskane, ale haker zaindeksował 5000 adresów URL w Google i teraz pojawia się błąd 404 w losowo generowanych linkach, jak przede wszystkim, zaczynając od /+podobnego powyższego linku. …

3
Co to jest minimalny prawidłowy plik robots.txt?
Nie podoba mi się to, że widzę dużo błędów 404 w access.log mojego serwera. Otrzymuję te błędy, ponieważ roboty indeksujące próbują otworzyć plik robots.txt , ale nie mogą go znaleźć. Chcę więc umieścić prosty plik robots.txt , który zapobiegnie pojawieniu się błędów 404 w moim pliku dziennika. Jaki jest minimalny …
14 robots.txt 

3
Robots.txt - CSS zezwala lub zabrania
Czy CSS i szablony są dozwolone w pliku robots.txt ? Czy powinno to powodować problemy? W Joomla CSS i szablony są niedozwolone w pliku robots.txt . Pomóż mi znaleźć rozwiązanie, czy umieścić niedozwolone w robotach dla CSS, szablonów itp. Dla moich nadchodzących stron.
12 css  robots.txt 

3
Robots.txt: czy muszę zabronić strony, która nie jest nigdzie linkowana?
W mojej witrynie jest kilka stron, które chcę, aby użytkownik mógł odwiedzać tylko wtedy, gdy podam mu adres URL. Jeśli nie zezwalam na pojedyncze strony robots.txt, będą one widoczne dla każdego, kto je przegląda. Moje pytanie brzmi: jeśli nie połączę ich z nigdzie, a przynajmniej z jakiejkolwiek zaindeksowanej strony, czy …
12 robots.txt 

2
Jakie boty są naprawdę warte wpuszczenia na stronę?
Po napisaniu wielu botów i zobaczeniu ogromnej liczby losowych botów, które zdołały zaindeksować witrynę, zastanawiam się, jako webmaster, jakie boty naprawdę warto wpuścić na witrynę? Moją pierwszą myślą jest to, że zezwalanie botom na witrynę może potencjalnie przynieść prawdziwy ruch. Czy istnieje jakiś powód, aby zezwolić botom, o których nie …


2
Narzędzia Google dla webmasterów mówią mi, że roboty blokują dostęp do mapy witryny
To jest mój plik robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Ale Narzędzia Google dla webmasterów mówią mi, że roboty blokują dostęp do mapy witryny: Podczas próby uzyskania dostępu do mapy witryny wystąpił błąd. Upewnij się, że mapa witryny jest zgodna z naszymi wytycznymi i że można …

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.