Nie podoba mi się to, że widzę dużo błędów 404 w access.log mojego serwera. Otrzymuję te błędy, ponieważ roboty indeksujące próbują otworzyć plik robots.txt , ale nie mogą go znaleźć. Chcę więc umieścić prosty plik robots.txt , który zapobiegnie pojawieniu się błędów 404 w moim pliku dziennika.
Jaki jest minimalny prawidłowy plik robots.txt , który pozwoli na indeksowanie wszystkiego w witrynie?
Odpowiedzi:
Jak wskazano tutaj , utwórz plik tekstowy o nazwie robots.txt w katalogu najwyższego poziomu serwera WWW. Możesz zostawić to puste lub dodać:
User-agent: *
Disallow:
Jeśli chcesz, aby roboty indeksowały wszystko . Jeśli nie, zobacz powyższy link, aby uzyskać więcej przykładów.
Najlepszym minimum robots.txtjest całkowicie pusty plik.
Wszelkie inne „zerowe” dyrektywy, takie jak puste Disallowlub Allow: *są nie tylko bezużyteczne, ponieważ nie działają, ale dodają niepotrzebnej złożoności.
Jeśli nie chcesz, aby plik był całkowicie pusty - lub chcesz, aby był bardziej czytelny dla człowieka - po prostu dodaj komentarz rozpoczynający się od #znaku, na przykład # blank file allows all. Roboty ignorują linie zaczynające się od #.
Powiedziałbym to;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Umożliwi to Googleowi indeksowanie wszystkiego, ale nie zezwoli Google na indeksowanie Twojego panelu administracyjnego. To idealna sytuacja dla Ciebie.