Jak działa „Noindex:” w pliku robots.txt?

Dzisiaj natknąłem się na ten artykuł w moich wiadomościach SEO. Wydaje się to sugerować, że możesz używać Noindex:dyrektyw oprócz standardowych Disallow:dyrektyw w pliku robots.txt .

Disallow: /page-one.html
Noindex: /page-two.html

Wygląda na to, że uniemożliwiłoby to wyszukiwarkom indeksowanie strony pierwszej, a także indeksowanie strony drugiej.

Czy ta dyrektywa robots.txt jest obsługiwana przez Google i inne wyszukiwarki? Czy to działa? Czy to jest udokumentowane?

— Stephen Ostermiller
źródło

Nie wiem ... ale to może być dla niektórych bardzo pomocne. Chciałbym również, aby mapa witryny została rozszerzona, aby była bardziej komunikatywna. Pomiędzy robotami i mapami witryn powinna to być świetna okazja do przekazania wyszukiwarkom i innym osobom informacji o witrynie. Opowiadam się także za tekstową możliwością informowania wyszukiwarek o witrynie w inny sposób, niezależnie od dostępności w wyszukiwarce, np. O stronie o, tak jakbyś miał okazję porozmawiać bezpośrednio z recenzentem witryny Google. Może uratować niektóre bóle serca i nieporozumienia. Szansa, by powiedzieć Ooopppsss, wygłupiałem- Przepraszam.

— closetnoc

Mam wrażenie, że disallowGoogle nie odkrywa linków na stronach nadrzędnych i podrzędnych, jeśli takie istnieją. Chociaż noindexpo prostu zatrzymuje wyświetlanie strony, nie przerywa odkrywania, podczas gdy nie zezwala.

— Simon Hayter

@ SimonHayter Wiem, że tak nofollowdziała metatagi. Byłoby miło wiedzieć, czy dotyczy to również pliku robots.txt .

— Stephen Ostermiller

Hej @StephenOstermiller nie tylko metatagi, ale i to samo <a rel="no-follow">. Nie widzę powodu, dla którego byłby traktowany inaczej. Oczywiście nie jest to oficjalne i John Muller zaleca nawet, aby nie używać go w pliku robots.txt, ale poza jego tweetem nie udało mi się znaleźć wielu informacji na jego temat.

— Simon Hayter

Warto zauważyć, że Google nie oznacza już błędu Noindexdyrektywy w robots.txtplikach jako błędu.

— Aran

Google nieoficjalnie wspierało Noindexdyrektywę w pliku robots.txt, jednak w 2019 r . Ogłosili, że dyrektywa przestanie działać.

Oto co Google John Mueller mówi o Noindex:w pliku robots.txt :

Kiedyś wspieraliśmy dyrektywę bez indeksu w pliku robots.txt jako funkcję eksperymentalną. Ale to coś, na czym nie mógłbym polegać. I nie sądzę, że inne wyszukiwarki w ogóle z tego korzystają.

Zanim Google ogłosiło wycofanie tej funkcji, deepcrawl.com przeprowadził pewne testy tej funkcji i stwierdził, że:

Przed 2019 rokiem nadal działał z Google
Zapobiegło pojawianiu się adresów URL w indeksie wyszukiwania
Adresy URL, które nie zostały indeksowane w pliku robots.txt, zostały oznaczone jako takie w Google Search Console

Ponieważ Google zaprzestało korzystania z tej funkcji, nie należy jej już używać.

Zamiast tego użyj metatagów robotów, które są dobrze obsługiwane i udokumentowane, aby zapobiec indeksowaniu:

<meta name="robots" content="noindex" />

— Stephen Ostermiller
źródło