Od lat korzystam z następującej linii w <head>moich witrynach:
<meta name="revisit-after" content="3 days" />
Niedawno odkryłem, że nie jest to jeden z metatagów, który Google rozumie, co rozumiem przez to, że nie ma sensu włączać go i że od lat nie przynosi on żadnych korzyści.
Jak często wyszukiwarki domyślnie indeksują witrynę i jakie są niezawodne sposoby na zwiększenie lub zmniejszenie tej częstotliwości?
Odpowiedzi:
Możesz kontrolować szybkość indeksowania Twojej witryny przez Google w Narzędziach Google dla webmasterów .
Współczynnik indeksowania witryny określa czas wykorzystywany przez Googlebota do indeksowania witryny przy każdej wizycie. Naszym celem jest dokładne zaindeksowanie Twojej witryny (aby Twoje strony mogły być indeksowane i zwracane w wynikach wyszukiwania!) Bez powodowania zauważalnego wpływu na przepustowość serwera. Podczas gdy większość webmasterów czuje się dobrze, korzystając z domyślnego ustawienia indeksowania (tj. Nie są wymagane żadne zmiany, więcej o tym poniżej), niektórzy webmasterzy mogą mieć bardziej konkretne potrzeby.
Googlebot stosuje wyrafinowane algorytmy, które określają, ile zindeksować każdą odwiedzaną witrynę. W zdecydowanej większości witryn prawdopodobnie najlepiej jest wybrać opcję „Pozwól Google określić szybkość indeksowania”, która jest domyślna. Jeśli jednak jesteś zaawansowanym użytkownikiem lub masz problemy z przepustowością swojego serwera, możesz dostosować szybkość indeksowania do prędkości najbardziej optymalnej dla twojego serwera (serwerów). Opcja niestandardowej szybkości indeksowania pozwala zapewnić Googlebotowi wgląd w maksymalną liczbę żądań na sekundę i liczbę sekund między żądaniami, które Twoim zdaniem są najlepsze dla twojego środowiska.
Googlebot określa zakres wartości szybkości indeksowania, które będą dostępne w Narzędziach dla webmasterów. Jest to oparte na naszym zrozumieniu możliwości Twojego serwera. Ten zakres może się różnić w zależności od witryny i czasu w zależności od kilku czynników. Ustawienie szybkości indeksowania na wartość niższą niż domyślna może mieć wpływ na zasięg i świeżość Twojej witryny w wynikach wyszukiwania Google. Jednak ustawienie wyższej wartości niż domyślna nie poprawi zasięgu ani rankingu. Jeśli ustawisz niestandardową szybkość indeksowania, nowa szybkość będzie obowiązywać przez 90 dni, po czym przywróci zalecaną wartość Google.
Możesz użyć tego ustawienia tylko w przypadku witryn na poziomie głównym i witryn nie hostowanych w dużej domenie, takiej jak blogspot.com (mamy dla nich specjalne ustawienia). Aby sprawdzić ustawienie szybkości indeksowania, zaloguj się do Narzędzi dla webmasterów i przejdź na kartę Ustawienia. Jeśli masz dodatkowe pytania, odwiedź Centrum pomocy dla webmasterów, aby dowiedzieć się więcej o tym, jak Google indeksuje Twoją witrynę lub publikować pytania na Forum pomocy dla webmasterów.
Poza tym prawdopodobnie będziesz musiał stworzyć własny system filtrowania, który wykrywa swoje programy klienckie i zezwala na boty wyszukiwarek lub blokuje je w oparciu o ich agenta użytkownika. Ale to tylko wpłynęłoby na zmniejszenie ich częstotliwości.
Aby odpowiedzieć na drugą część pytania, możesz powiedzieć Google za pomocą Narzędzi dla webmasterów
Aby zmienić szybkość indeksowania:
Na stronie głównej Narzędzi dla webmasterów kliknij żądaną witrynę.
W obszarze Konfiguracja witryny kliknij Ustawienia.
W sekcji Szybkość indeksowania wybierz odpowiednią opcję.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=pl
W Bing FAQ odnosi się do tego postu, który zaleca ustawienie Crawl-Delay: Xgdzie x to liczba sekund oczekiwania między każdym żądaniem.
Oczywiście mapy witryn wskazują, jak często strony się zmieniają.