Mam dynamiczną witrynę, która ma wielu (no, mniej niż 50) użytkowników. Każdy użytkownik może utworzyć tyle stron, ile chce. Wiem, że istnieje ograniczenie liczby stron, które można wymienić w sitemap.xml, i na razie jestem poniżej tego limitu, ale chciałbym wiedzieć, jaki najlepszy sposób, aby umożliwić wyszukiwarkom (wszystkim?) strony moich użytkowników wciąż są poniżej tego limitu, nawet jeśli mam więcej niż ten limit.
Odpowiedzi:
Pliki map witryn mają limit 50 000 adresów URL i 10 megabajtów na mapę witryny. Mapy witryn można kompresować za pomocą programu gzip, co zmniejsza zużycie przepustowości. Obsługiwanych jest wiele plików map witryn, a plik indeksu map witryn służy jako punkt wejścia dla 1000 map witryn.
Pamiętaj, że możesz określić wiele map witryn w pliku robots.txt :
Jeśli napotykasz ograniczenia, być może w jakiś sposób podziel swoich użytkowników. Załóżmy, że każdy z użytkowników ma nie więcej niż 10 000 adresów URL na jeden element, możesz podzielić go na pliki i dodać do robots.txtpliku:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Teraz musisz pamiętać o limicie 10 MB dla każdej mapy witryny, ale jest to podejście pozwalające rozwiązać problem „zbyt wielu” adresów URL.
Zobacz pliki CNN i Google robots.txt , aby zobaczyć wiele map witryn w akcji.