Połącz programy użytkownika w pliku robots.txt

Czy programy klienckie mogą być wymienione razem, a ich wspólne reguły, takie jak w pliku robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— Davidcondrey
źródło

Czy istnieje powód, dla którego nie używasz, user-agent: *a następnie nie zezwalasz? Czy lista „dozwolonych” programów klienckich jest dłuższa niż lista, której chcesz zabronić?

— Mike Hudson

Zobacz także na stronie SO: Czy można wyświetlić listę wielu klientów użytkownika w jednym wierszu?

— 2014 r. O

Tak. Zakładając, że nazwy agentów są określone poprawnie, wygląda na to, że powinno to działać. Oto zasób, jeśli chcesz przeczytać więcej. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
źródło

Oryginalny robots.txt Spec zgadza: „Jeśli więcej niż jedno pole User-agent jest obecny rekord opisuje identyczną politykę dostępu do więcej niż jednego robota.”

— Ilmari Karonen