Czy istnieje różnica między pustym plikiem robots.txt a brakiem pliku robots.txt?

Na serwerze muszę teraz przyznać, że zauważyłem, że plik robots.txt jest pusty. Zastanawiałem się, czy istnieje różnica między pustym plikiem robots.txt a żadnym plikiem.

Czy roboty indeksujące zachowują się inaczej w tych dwóch przypadkach? Czy bezpieczne jest zatem usunięcie pustego pliku robots.txt?

Czy roboty indeksujące zachowują się inaczej w tych dwóch przypadkach?

Plik robots.txt , który jest pusty, tak naprawdę nie różni się od pliku, którego nie znaleziono, oba nie uniemożliwiają przeszukiwania.

Może się jednak pojawić wiele 404błędów w dziennikach serwera, gdy roboty indeksujące zażądają pliku robots.txt , jak wskazano w tym pytaniu tutaj .

Czy bezpieczne jest zatem usunięcie pustego pliku robots.txt?

Tak, z powyższym zastrzeżeniem.

Nie. Nie ma różnicy.

W dzienniku serwera pojawiałby się błąd 404, a jeśli subskrybujesz takie narzędzia, jak Google Web Master, może to oznaczać, że go nie masz, ale pod względem zachowania robota przeszukiwacza - są takie same dla każdy robot, na którym ci zależy.