Paradoks mapy witryny

Używamy mapy witryny w przypadku przepełnienia stosu, ale mam mieszane uczucia na ten temat.

Przeszukiwacze sieci zwykle odkrywają strony z linków w witrynie i z innych witryn. Mapy witryn uzupełniają te dane, aby umożliwić robotom obsługującym mapy witryn pobieranie wszystkich adresów URL w mapie witryny i uzyskiwanie informacji o tych adresach URL przy użyciu powiązanych metadanych. Korzystanie z protokołu Sitemap nie gwarantuje, że strony internetowe są uwzględnione w wyszukiwarkach, ale zapewnia wskazówki dla robotów internetowych, które mogą lepiej indeksować witrynę.

Na podstawie naszego dwuletniego doświadczenia z mapami witryn jest coś zasadniczo paradoksalnego w mapie witryny :

1. Mapy witryn są przeznaczone dla witryn, które trudno poprawnie zaindeksować.
2. Jeśli Google nie może zindeksować Twojej witryny w celu znalezienia linku, ale jest w stanie ją znaleźć w mapie witryny, nie przypisuje linku do mapy witryny żadnej wagi i nie będzie go indeksować!

To paradoks mapy witryny - jeśli Twoja witryna nie jest właściwie indeksowana (z jakiegokolwiek powodu), użycie mapy witryny nie pomoże!

Google dokłada wszelkich starań, aby nie gwarantować żadnych map witryn :

„Nie możemy przewidzieć ani zagwarantować, kiedy i czy Twoje adresy zostaną zaindeksowane lub dodane do naszego indeksu” cytowania

„Nie gwarantujemy, że będziemy indeksować lub indeksować wszystkie adresy URL. Na przykład nie indeksujemy ani nie indeksujemy adresów URL obrazów zawartych w mapie witryny”. cytat

„przesłanie mapy witryny nie gwarantuje, że wszystkie strony witryny będą indeksowane lub zawarte w wynikach wyszukiwania” cytat

Biorąc pod uwagę, że linki znajdujące się w mapach witryn są jedynie zaleceniami , podczas gdy linki znalezione w Twojej własnej witrynie są uważane za kanoniczne ... wydaje się, że jedyną logiczną rzeczą jest uniknięcie mapy witryny i upewnienie się, że Google i każda inna wyszukiwarka mogą poprawnie przeszukuj swoją witrynę za pomocą zwykłych starych standardowych stron internetowych, które wszyscy widzą.

Do czasu, kiedy zrobili to , i są coraz spidered ładny i dokładnie tak, że Google może zobaczyć swoich własnych miejscu linki do tych stron, i byłby skłonny do indeksowania linków - uh, dlaczego potrzebujemy mapy witryny, znowu? Mapa witryny może być aktywnie szkodliwa, ponieważ odciąga Cię od zapewnienia, że ​​pająki wyszukiwarek będą w stanie skutecznie zindeksować całą witrynę. „Och, nie ma znaczenia, czy robot może to zobaczyć, po prostu uderzymy te linki w mapę witryny!” Rzeczywistość jest zupełnie odwrotna w naszym doświadczeniu.

Wydaje się to więcej niż trochę ironiczne, biorąc pod uwagę, że mapy witryn były przeznaczone dla witryn z bardzo głęboką kolekcją linków lub złożonym interfejsem użytkownika, które mogą być trudne do spider. Z naszego doświadczenia wynika, że ​​mapa witryny nie pomaga, ponieważ jeśli Google nie może znaleźć odpowiedniego linku w Twojej witrynie, i tak nie zaindeksuje go z mapy witryny. Widzieliśmy to potwierdzone raz po raz z pytaniami dotyczącymi przepełnienia stosu.

Czy się mylę? Czy mapy witryn mają sens i po prostu niewłaściwie je wykorzystujemy?

Oświadczenie: Współpracuję z zespołem Sitemaps w Google, więc jestem nieco stronniczy :-).

Oprócz intensywnego korzystania z map witryn do treści „nieindeksowanych” (obrazy, filmy, wiadomości itp.), Wykorzystujemy informacje z adresów URL zawartych w plikach map witryn do następujących głównych celów:

• Odkrywanie nowych i zaktualizowanych treści (wydaje mi się, że jest to oczywiste, i tak, pobieramy i indeksujemy również niepowiązane adresy URL)
• Rozpoznawanie preferowanych adresów URL do kanonizacji (istnieją również inne sposoby obsługi kanonizacji )
• Zapewnienie użytecznej liczby indeksowanych adresów URL w Narzędziach Google dla webmasterów (przybliżenia z witryny: -pytania nie są przydatne jako dane)
• Stanowi podstawę do przydatnych błędów indeksowania (jeśli URL zawarty w pliku mapy witryny zawiera błąd indeksowania, jest to zwykle większy problem i jest wyświetlany osobno w Narzędziach dla webmasterów)

Po stronie webmastera uważam też, że pliki map witryn są niezwykle przydatne:

• Jeśli używasz robota do utworzenia pliku map witryn, możesz łatwo sprawdzić, czy Twoja witryna jest dostępna do indeksowania, i zobaczyć z pierwszej ręki, jakie rodzaje adresów URL zostaną znalezione. Czy robot wyszukuje preferowane adresy URL, czy coś jest niepoprawnie skonfigurowane? Czy przeszukiwacz utknął gdzieś w nieskończonych przestrzeniach (np. Niekończące się skrypty kalendarza)? Czy Twój serwer jest w stanie obsłużyć obciążenie?
• Ile stron naprawdę ma Twoja strona? Jeśli plik mapy witryny jest „czysty” (bez duplikatów itp.), Łatwo to sprawdzić.
• Czy Twoja witryna jest naprawdę czysta do indeksowania bez uruchamiania zduplikowanych treści? Porównaj dzienniki serwera pozostawione przez Googlebota z plikiem map witryn - jeśli Googlebot indeksuje adresy URL, które nie znajdują się w pliku map witryn, możesz dwukrotnie sprawdzić wewnętrzne linki.
• Czy Twój serwer ma problemy z preferowanymi adresami URL? Sprawdzanie krzyżowe dziennika błędów serwera za pomocą adresów URL map witryn może być bardzo przydatne.
• Ile twoich stron jest naprawdę zaindeksowanych? Jak wspomniano powyżej, liczba ta jest widoczna w Narzędziach dla webmasterów.

Oczywiście w przypadku naprawdę małych, statycznych witryn, które można łatwo indeksować, korzystanie z map witryn może być niepotrzebne z punktu widzenia Google po zaindeksowaniu i zaindeksowaniu witryny. Jeśli chodzi o cokolwiek innego, naprawdę polecam ich użycie.

FWIW Są też pewne nieporozumienia, które chciałbym również omówić:

• Plik mapy witryny nie ma na celu „naprawienia” problemów z indeksowaniem. Jeśli nie można zaindeksować witryny, napraw ją najpierw .
• Nie używamy plików map witryn do rankingu.
• Użycie pliku mapy witryny nie zmniejszy naszego normalnego indeksowania Twojej witryny. To dodatkowe informacje, a nie zamiennik do indeksowania. Podobnie brak adresu URL w pliku mapy witryny nie oznacza, że ​​nie będzie on indeksowany.
• Nie przejmuj się metadanymi. Jeśli nie możesz podać użytecznych wartości (np. Dla priorytetu), pomiń je i nie przejmuj się tym.

Jeśli wiesz, że masz dobrą architekturę witryny, a Google naturalnie znalazłby twoje strony, jedyną znaną mi korzyścią jest szybsze indeksowanie, jeśli Twoja witryna jest indeksowana wystarczająco szybko dla Ciebie, nie ma takiej potrzeby.

Oto artykuł z 2009 roku, w którym panowie przetestowali, jak szybko Google zaindeksował swoją witrynę za pomocą mapy witryny i bez niej. http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

Moją ogólną zasadą jest to, że jeśli uruchamiasz coś nowego i niesprawdzonego, chcesz zobaczyć, jak Google indeksuje Twoją witrynę, aby upewnić się, że nie ma nic do naprawienia, więc nie przesyłaj, jeśli wprowadzasz zmiany i chcesz Google, aby zobaczyć je szybciej, prześlij lub jeśli masz inne wrażliwe na czas informacje, takie jak najświeższe informacje, prześlij, ponieważ chcesz zrobić wszystko, aby upewnić się, że jesteś pierwszym Google, w przeciwnym razie jest to kwestia preferencji.

Podejrzewam: w przypadku Google mapy witryn są niezbędne, aby śledzić aktualizacje w najszybszy możliwy sposób. Załóżmy na przykład, że dodałeś nową treść do jakiejś głębokiej lokalizacji swojej witryny, która wymaga więcej niż 10-20 kliknięć, aby dotrzeć ze strony głównej. Aby Google mógł dotrzeć do tej nowej strony w krótkim czasie, jest mniej prawdopodobne - więc zamiast tego, dopóki ścieżka do tej strony nie zostanie całkowicie określona, zostanie ogłoszona jej istnienie . W końcu PageRank nie jest obliczany od razu, wymaga czasu na ocenę zachowania użytkowników i tak dalej - dlaczego więc silnik nie powinien indeksować i indeksować strony ze świeżą treścią?

Mapy witryn są niezwykle cenne, jeśli używasz ich poprawnie.

Po pierwsze, fakt, że Google mówi, że są wskazówkami, służy tylko temu, aby: a) upewnić się, że webmasterzy nie mają fałszywego wrażenia, że ​​mapa witryny = indeksacja oraz b) dać Google możliwość ignorowania niektórych map witryn, jeśli uznają je za niewiarygodne ( aka lastmod to bieżąca data dla wszystkich adresów URL każdego dnia, do którego są one uzyskiwane).

Jednak Google ogólnie lubi mapy witryn i zużywa je (w rzeczywistości czasami znajdą własne i dodadzą je do Narzędzi Google dla webmasterów). Dlaczego? Zwiększa wydajność, z jaką mogą się czołgać.

Zamiast zaczynać od strony początkowej i indeksować sieć, mogą przydzielić odpowiednią kwotę swojego budżetu na indeksowanie do witryny na podstawie przesłanych map witryn. Mogą również utworzyć dużą historię witryny z powiązanymi danymi błędów (500, 404 itp.)

Od Google:

„Googlebot indeksuje sieć, podążając za linkami z jednej strony na drugą, więc jeśli Twoja witryna nie jest dobrze połączona, może nam być trudno ją znaleźć”.

Nie mówią, że indeksowanie sieci jest czasochłonne i wolą mieć ściągawki (inaczej mapę witryny).

Jasne, Twoja witryna może wyglądać dobrze z punktu widzenia indeksowania, ale jeśli chcesz wprowadzić nową treść, upuszczenie tej zawartości w mapie witryny o wysokim priorytecie jest szybszym sposobem na indeksowanie i indeksowanie.

Działa to również w przypadku Google, ponieważ chcą szybko znaleźć, indeksować i indeksować nowe treści. Teraz, nawet jeśli nie uważasz, że Google woli ścieżkę ubitą od maczety w dżungli, istnieje jeszcze jeden powód, dla którego mapy witryn są cenne - śledzenie.

W szczególności za pomocą indeksu map witryn (http://sitemaps.org/protocol.php#index) możesz podzielić swoją witrynę na sekcje - mapa witryny według mapy witryny. W ten sposób możesz spojrzeć na indeksację twojej witryny sekcja po sekcji.

Jedna sekcja lub typ treści może mieć współczynnik indeksacji 87%, podczas gdy inny może mieć wskaźnik indeksacji 46%. Twoim zadaniem jest dowiedzieć się, dlaczego.

Aby w pełni wykorzystać mapy witryn, musisz śledzić indeksowanie Googlebota (i Bingbota) w swojej witrynie (za pośrednictwem blogów), dopasowywać je do map witryn, a następnie śledzić je w ruchu.

Nie idź spać przy mapach witryn - inwestuj w nie.

Słowami Google: „W większości przypadków webmasterzy skorzystają na przesłaniu mapy witryny i w żadnym wypadku nie zostaniesz za to ukarany”.

Ale zgadzam się, że najlepszą rzeczą, jaką możesz zrobić, jeśli chcesz, aby strony Twojej witryny były wyświetlane w wyszukiwarkach, jest upewnienie się, że można je indeksować z właściwej strony.

Uważam, że wyszukiwarki używają mapy witryny nie tyle do wyszukiwania stron, ale do optymalizacji częstotliwości sprawdzania ich aktualizacji. Patrzą na <changefreq>i <lastmod>. Google prawdopodobnie bardzo często przeszukuje całą witrynę (sprawdź dzienniki!), Ale nie wszystkie wyszukiwarki mają do tego odpowiednie zasoby (Czy ktoś próbował Blekko ?). W każdym razie, ponieważ nie ma kary za korzystanie z nich i mogą być tworzone automatycznie i łatwo, nadal to robię.

jeśli zależy ci na tym temacie, przeczytaj ten świetny artykuł Google http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (kwiecień 2009 r.) - przeczytaj cały artykuł, nie tylko blog .

z gazety

• ok, zasadniczo Google miał problem z tym samym pytaniem.
• nie ujawniają, w jaki sposób określają wartość w mapie witryny, ale wspominają o koncepcji wirtualnego linku ze strony początkowej do mapy witryny.
• wiele innych interesujących rzeczy

ale tak, mapa witryny jest najczęściej używana do odkrywania (proces wyszukiwania przez Google twoich rzeczy), a nie do określania wartości. jeśli masz problem z odkryciem, użyj mapy witryny. odkrycie jest warunkiem wstępnym do indeksowania, ale nie wpływa na określenie wartości.

z mojego doświadczenia

• istnieje sh * tload witryn, które po prostu używają map witryn HTML i XML do łączenia stron
• a spośród nich mapa witryny XML jest znacznie lepiej indeksowana niż mapa witryny HTML. (przyjrzałem się naprawdę dużym)
• istnieją nawet bardzo udane witryny, które używają tylko mapy witryny XML.

kiedy wdrażam strategię SEO dla witryny zawierającej ponad pół miliona stron

• strony docelowe
• sitemap.xml
• Strona startowa

wszystko inne jest po prostu „balastem” - tak, inne rzeczy mogą mieć pozytywną wartość SEO, ale zdecydowanie mają wartość ujemną: utrudniają zarządzanie witryną. (ps: do wyznaczania wartości łączę strony docelowe w sensowny sposób (duży wpływ), ale to już drugi krok).

odnośnie twojego pytania: nie myl odkrycia, indeksowania, indeksowania i rankingu. możesz śledzić je osobno i optymalizować je osobno. i możesz ulepszyć odkrywanie i indeksowanie w znaczący sposób dzięki doskonałej mapie witryny (w czasie rzeczywistym).

Mapy witryn mogą uratować Twój tyłek.

Na jednej z moich stron mam wiele linków, które uniemożliwiają wyszukiwarkom spidering. Krótko mówiąc, Google źle interpretuje JS na moim forum i uruchamia wiele kodów odpowiedzi 500 i 403, które moim zdaniem mają wpływ na pozycję witryny. Obejrzałem to, wykluczając problematyczne adresy URL za pośrednictwem pliku robots.txt.

Pewnego dnia popełniłem błąd i zrobiłem coś, co uniemożliwiło Google zaindeksowanie niektórych stron w tej witrynie, którą naprawdę chciałem zaindeksować. Z powodu wykluczeń z forum sekcja błędów Narzędzi dla webmasterów dla „Restricted by robots.txt” zawierała ponad 4000 stron, więc nie wybrałbym tego błędu, dopóki nie byłoby o wiele za późno.

Na szczęście, ponieważ wszystkie „ważne” strony w mojej witrynie znajdują się w mapach witryn, mogłem szybko wykryć ten problem w specjalnej kategorii błędów, którą Narzędzia dla webmasterów mają w przypadku problemów ze stronami w mapach witryn.

Nawiasem mówiąc, czerpię wiele korzyści z używania indeksu map witryn do określania jakości indeksowania różnych sekcji moich witryn, o czym wspomniał @AJ Kohn.

Sam się na to nie natknąłem, ale większość moich projektów to aplikacje lub witryny, które w innym przypadku wymagają kont użytkowników, więc indeksowanie przez wyszukiwarki nie jest celem.

To powiedziawszy, słyszałem wcześniej, że SEO w zasadzie sprawiło, że mapy witryn stały się bezużyteczne. Jeśli spojrzysz na protokół, jest to swego rodzaju „system honoru”, który mówi, jak często strona się zmienia i jaki jest względny priorytet każdej strony. Jest oczywiste, że kilkanaście firm SEO niewłaściwie wykorzystuje pola - każda strona ma najwyższy priorytet! każda strona zmienia się co godzinę! - i sprawiły, że mapy witryn stały się bezużyteczne.

Artykuł z 2008 roku mówi w zasadzie, że wydaje się, że doszedł do tego samego wniosku: mapa witryny jest całkiem bezużyteczna i lepiej byłoby zoptymalizować zawartość do indeksowania i zrzucić mapę witryny.

Pozwól mu się czołgać.

Wykonuję następujące czynności:

1. spraw, aby witryna była dostępna do indeksowania w stary sposób.
2. upewnij się, że mam plik robots.txt ze wskazaniem mapy witryny.
3. utwórz mapę witryny XML, ale nie przesyłaj. Pozwól przeszukiwaczowi odkryć i używać go w razie potrzeby w ramach procesu wykrywania i indeksowania.

Generuję rozszerzony plik XML, który służy jako podstawa wielu rzeczy:

• Generowanie mapy witryny HTML
• Pomóż stronie 404 (nie znaleziono)
• Pomagaj w innych drobnych zadaniach, takich jak tworzenie bułki tartej lub uzyskiwanie metadanych na moim wzorze Fasady dla strony.

Stąd mam to wszystko, dlaczego nie podać też mapy witryny xml i pozwolić robotowi zrobić to, co chciałby zrobić, gdyby chciał to zrobić?

Jeff, nie mam pojęcia o Stackoverflow, ponieważ nigdy nie miałem okazji być webmasterem tak dużej i tak często aktualizowanej strony.

W przypadku małych witryn, które często się nie zmieniają, myślę, że mapa witryny jest dość przydatna (nie mówiąc, że mapa witryny jest najważniejsza, ale całkiem przydatna tak) z dwóch powodów:

1. Witryna jest indeksowana szybko (ten sam powód wyjaśniony powyżej przez Joshaka ) i z mojego małego doświadczenia zauważyłem to wiele razy w przypadku małych witryn (do 30/50 stron)

2. Po kilku tygodniach przesłania mapy witryny przeglądam „Narzędzia Google dla webmasterów - mapy witryn” i widzę liczbę adresów URL przesłanych w mapie witryny oraz liczbę adresów URL w indeksie internetowym . Jeśli widzę, że są takie same, to dobrze. W przeciwnym razie mogę natychmiast sprawdzić na swoich stronach, które strony nie są indeksowane i dlaczego.

O tym (pierwszy?) Napisał Randfish w SEOmoz w dobrym starym roku 2007. Po raz pierwszy doszedł do tego samego rodzaju wniosków, ale potem czas to zrobił ... i minął.

Od tego czasu (styczeń 2009) dodał do artykułu postscriptum stwierdzające, że wszelkie możliwe wady są po prostu przeważone przez ogólne pozytywne wyniki generowania, weryfikacji i przesyłania map witryn.

Aktualizacja 5 stycznia 2009 r. - Naprawdę znacząco zmieniłem zdanie na temat tej porady. Tak, mapy witryn nadal mogą zaciemniać problemy architektoniczne, ale biorąc pod uwagę doświadczenie, jakie miałem przez ostatnie 1,5 roku, teraz polecam wszystkim naszym klientom (i prawie wszystkim innym, którzy pytają), aby mapy witryn były przesyłane. Zalety w zakresie indeksowania, indeksowania i ruchu po prostu przeważają nad wadami.

Uważam, że mapy witryn służą obecnie tylko dwóm celom:

• Pozwalają zmniejszyć częstotliwość pająków w celu zmniejszenia obciążenia serwera. To nie powinno być problemem dla większości witryn.
• Mogą pomóc w egzekwowaniu tego, co wyszukiwarka już o tobie wie. Lista nazw stron i oczywiście dodanie odpowiedniej wagi do każdej strony pomaga wyszukiwarce zweryfikować własne dane do rankingu architektury witryny.

NIE UŻYWAJ SITEMAPS

Mapy witryn są przeznaczone głównie dla witryn, które nie indeksują znaczników czasowych indeksów i węzłów ... SE robi to samo z podstawową treścią, więc mapa witryny spowolni przeszukiwacz ... Tak, zgadza się, spowolni, ponieważ mapa witryny brakuje metadanych, które mają podstawowe indeksy. Z drugiej strony, nie mam prawdziwego pojęcia, jak Google buduje to boty, po prostu wiem, że jeśli zamierzam botować SE, NIE używałbym mapy witryny. Co więcej, niektóre witryny nawet nie zauważają, że wszystkie mapy witryn są w%! @ $ - a jeśli utworzyłeś profil na mapie witryny, to nagle nie działa i musisz utworzyć nowy profil poza prawdziwa strona.

Więc masz rację - NIE UŻYWAJ WITRYN!

WSKAZÓWKA: Jedną rzeczą, którą powinieneś zrobić, to utrzymać semantykę znaczników w miarę możliwości w miarę upływu czasu, co oznacza, że ​​jeśli „Zadane o godzinę temu” mają osadzone metadane, takie jak:

title="2010-11-02 00:07:15Z" class="relativetime"

nigdy nie zmieniaj nazwy ciągu relativetime, chyba że titlezmieniło się znaczenie danych w . NIGDY ... :-)

Niedawno zrestrukturyzowałem witrynę, nad którą wciąż pracuję. Ponieważ nie było dobrego sposobu, aby połączyć 500 000 stron, aby pomóc użytkownikom, postanowiłem użyć mapy witryny XML i przesłać ją do Google i zamiast tego skorzystać z wyszukiwania w witrynie. Jednak Google nie miał wcześniej problemu z zaindeksowaniem mojej witryny, ponieważ dodając mapę witryny, Google bardzo agresywnie śledzi moją witrynę i bardzo szybko indeksuje strony. Google wykorzystało mapę witryny do znalezienia nowych stron (około 3300 tygodniowo) i ponownego odwiedzenia zaktualizowanych stron. To była prawdziwa wygrana w mojej książce. Nadal chcę wymyślić nowy sposób łączenia moich stron i używania AJAX do wyszukiwania, ale jest to projekt na kolejny dzień. Na razie w porządku! To było dla mnie dobre rozwiązanie. Mimo wszystko zyskałem i nie straciłem. Co jest interesujące, ponieważ zawsze uważałem, że mapy witryn mogą być bardziej przydatne, ale ograniczone ich konstrukcją.

Słyszałem, że mapy witryn szybciej umieszczają Twoje strony w indeksie uzupełniającym. Ale nawet nie słyszałem o indeksie uzupełniającym wspomnianym od wieków, więc może już go nie używają.

PS w przypadku, gdy moje stwierdzenie nie jest wystarczająco jasne, obecność w indeksie uzupełniającym jest (lub była) ZŁA ... dlatego mapa witryny jest (lub była) ZŁA.

Używamy map witryn (nieprzekazywanych do wyszukiwarek, ale z linkami robots.txt) głównie po to, aby upewnić się, że strona główna ma najwyższą wartość <priority>. Nie jestem pewien, czy mają wiele innych zastosowań.

Nie zgadzam się, że Google nie zaindeksuje linków tylko do map witryn. Mam wiele witryn, które mają strony dostępne tylko za pomocą map witryn i Google indeksuje je bez problemu. Mogę podać wiele przykładów tego.

Dobrze skonstruowana strona nie potrzebuje mapy witryny, chociaż może pomóc w naszym zasięgu i rankingu oraz dodaje trochę dodatkowej wartości, takiej jak priorytet, częstotliwość aktualizacji itp. Możesz powiedzieć wyszukiwarce hej ... Zaktualizowałem tę stronę gdzieś w środku mojej witryny bez konieczności pełnego indeksowania. Nigdy nie patrzyłem na wzorce pełzania, ale można by mieć nadzieję, że to pomogło.

Powiedziawszy, że prawdziwym plusem dla mnie są narzędzia dla webmasterów i wgląd, jaki daje ci widoczność witryny i użytkowników.