Jak zablokować cały katalog w pliku robots.txt?

19

Mam dwie witryny, nad którymi obecnie pracuję, a mianowicie koszyk na zakupy i inny klient. Oba są pod tą samą nazwą domeny, na przykład

http://example.com/first_url 
http://example.com/second_url

Oba te adresy URL mają pod sobą mnóstwo stron

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Jak zabronić głównego adresu URL, /first_urla /second_urltakże wszystkich podstron i podkatalogów? Myślałem o czymś takim, ale nie wiem, czy to działa, czy nie i czy to była poprawna składnia

Disallow: /first_url/*/
Disallow: /second_url/*/

seo robots.txt

— Stephen Ostermiller
źródło

1

Myślę, że twoja składnia jest poprawna, ale nie jestem pewien co do dodatkowego /

26

Nie potrzebujesz końcowego ukośnika, aby zablokować te katalogi. To zadziała:

Disallow: /first_url/*
Disallow: /second_url/*

Ta strona pomocy Google obejmuje to całkiem dobrze.

— John Conde
źródło

7

Możesz po prostu zrobić „Disallow: / first_url”. Końcowy znak zastępczy jest ignorowany. Według developers.google.com/webmasters/control-crawl-index/docs/…

— Evgenii

Potrzebujesz Disallow: / url / *, aby dopasować takie rzeczy jak example.com/url/test?test=1

— Gareth Daine

-1

Możesz użyć tego jako domyślnego robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Gwiazda pozwoli na niedopuszczenie wszystkiego w tej kategorii. Możesz nawet zabronić jednej konkretnej rzeczy w tej kategorii, wpisując ten konkretny adres URL.

— SAF
źródło

4

Nie różni się to od przyjętej odpowiedzi innej niż brak początkowego ukośnika. Nie zezwalaj na reguły w pliku robots.txt powinny zaczynać się od ukośnika. Tak wszystkie przykłady znajdują się w dokumentacji

— Stephen Ostermiller