Pytania otagowane jako internet-archive

2
Kontrola nad archiwum internetowym oprócz „Disallow /”?
Czy istnieją jakieś mechanizmy kontrolujące, co archiwum archiwum internetowego w witrynie? Wiem, że nie zezwalam na dodawanie wszystkich stron : User-agent: ia_archiver Disallow: / Czy mogę powiedzieć botowi, że chcę, aby indeksowali moją witrynę raz w miesiącu lub raz w roku? Mam witrynę / strony, które nie są / nie …
6
Jak poprawnie (nie) zezwolić botowi archive.org? Czy coś się zmieniło, jeśli tak, to kiedy?
Mam stronę internetową, w której przeważnie nie chcę być indeksowana przez wyszukiwarki, ale chcę ją zachować na wieczność na archive.org. Więc robots.txtzaczynam od tego: User-agent: * Disallow: / Dzisiaj, zgodnie z archive.org, muszę dodać następujące w moim, robots.txtaby pozwolić ich botom: User-agent: ia_archiver Disallow: Ale już zrobiłem to, co wskazali …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.