Gdzie jest przechowywany plik robots.txt do instalacji WordPress Multisite?

9

Narzędzia Google dla webmasterów mogą to zobaczyć, ale nie mogę jej znaleźć. Masz pomysł na to, jak jest generowany lub gdzie jest struktura plików? Nie widzę pliku w moim katalogu głównym. Moja witryna znajduje się pod adresem http://mikewills.me, a adres URL pliku robots.txt to http://mikewills.me/robots.txt .

Ostatecznie Google nie indeksuje mojej witryny i próbuję wymyślić, jak edytować plik robots.txt, aby umożliwić indeksowanie. Zmieniłem opcję prywatności, aby umożliwić indeksowanie, ale to nie zaktualizowało pliku robots.txt.

multisite

— Mike Wills
źródło

Link do strony?

— plik

11

Jest generowany dynamicznie przez funkcję do_robots(), która ma zarówno akcję ( do_robotstxt), jak i filtr ( robots_txt). Jeśli utworzysz robots.txtplik w katalogu głównym WordPress, zostanie (prawdopodobnie) dostarczony na /robots.txtżądanie, w przeciwnym razie przetwarzanie spadnie na WordPress.

Twój aktualny plik wygląda następująco:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Pierwsze dwa ustawienia są odpowiednie dla blogu indeksowanego. W tym momencie możesz po prostu czekać na Google. Być może musisz poprosić o ponowne rozpatrzenie zgłoszenia witryny .

— Annika Backstrom
źródło

Dzięki za informację. Miałem takie założenie. Bałam się zobaczyć Disallow. Więc to jest w porządku?

— Mike Wills

2

@ Mike: Tak, to jest OK. To, co teraz mówisz, brzmi: „Hej roboty, których User-agentdopasowanie *(czyli wszystkie roboty), lista stron, do których nie można uzyskać dostępu, [empty]”. Co oznacza, że mogą uzyskać dostęp do wszystkich stron.

— Jan Fabry

Dodanie pliku robots.txt do katalogu głównego nie działa, nadal obsługuje on wygenerowany przez WordPress. Czy nie ma sposobu, aby dodać lub zmodyfikować plik robots.txt bez instalacji wtyczki?

— Nick

3

Plik robots.txt jest tworzony dynamicznie. Nie ma pliku robots.txt. Zainstaluj wtyczkę robot.txt rozwiąże twój problem. Mam nadzieję że to pomoże

— użytkownik1167
źródło