Pytania otagowane jako google-cache

7
Czy Google buforuje plik robots.txt?
Dodałem plik robots.txt do jednej z moich witryn tydzień temu, co powinno uniemożliwić Googlebotowi próby pobrania niektórych adresów URL. Jednak w ten weekend widzę, że Googlebot ładuje te dokładne adresy URL. Czy Google buforuje plik robots.txt, a jeśli tak, to powinien?
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.