Pytania otagowane jako robots.txt

3
Czy w pliku robots.txt można użyć względnego adresu URL mapy witryny?
Czy w pliku robots.txt mogę napisać następujący względny adres URL pliku mapy witryny? sitemap: /sitemap.ashx Czy też muszę użyć pełnego (bezwzględnego) adresu URL pliku mapy witryny, na przykład: sitemap: http://subdomain.domain.com/sitemap.ashx Dlaczego zastanawiam się: Posiadam nową usługę blogową, www.domain.com, która pozwala użytkownikom na blogowanie na accountname.domain.com. Używam symboli wieloznacznych, więc wszystkie …
191 seo  sitemap  robots.txt 
4
Jak skonfigurować plik robots.txt, aby wszystko zezwalało?
My robots.txtw Narzędziach Google dla webmasterów pokazuje następujące wartości: User-agent: * Allow: / Co to znaczy? Nie mam wystarczającej wiedzy na ten temat, więc szukam twojej pomocy. Chcę zezwolić wszystkim robotom na indeksowanie mojej witryny. Czy to właściwa konfiguracja?
116 robots.txt 
10
Pliki statyczne we Flask - robot.txt, sitemap.xml (mod_wsgi)
Czy istnieje sprytne rozwiązanie do przechowywania plików statycznych w katalogu głównym aplikacji Flask? Pliki robots.txt i sitemap.xml powinny znajdować się w /, więc moim pomysłem było utworzenie dla nich tras: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Musi być coś wygodniejszego :)
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.