Dlaczego Google przestał indeksować strony z naszego pliku sitemap.xml?

Widzimy niektóre strony, które istnieją w naszym, sitemap.xmlale niewytłumaczalnie brakuje w indeksie wyszukiwania publicznego Google.

Nie możesz pobrać /superuser//sitemap.xml - chronimy ten plik, ponieważ w przeszłości występowały z nim problemy - ale googlebot może. Za pomocą Google Webmaster Tools zweryfikowaliśmy, że sitemap.xmlplik został dzisiaj usunięty i jest oceniany jako OK bez błędów (zielony znacznik wyboru).

sitemap.xmlZawiera listę ostatnich 50000 pytania na naszej stronie, które zostały zadane. Na przykład to pytanie ...

/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

... istnieje sitemap.xmljako ...

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

Wyszukiwanie „Jak zobaczyć koniec długiego łańcucha dowiązań symbolicznych” daje tylko jeden wynik dla questionhub.com, który usuwa dane (zupełnie inny problem).

Możesz zwiększyć liczbę pytań i dokładnie wyszukać tytuł pytania, a zobaczysz, że ten wzorzec utrzymuje się.

Te adresy URL znajdują się w pliku sitemap.xml, ale nie są wyświetlane w indeksie Google - a jednak pojawiają się w witrynach, które usuwają dane z naszych wspólnych zasobów. Dlaczego miałoby to być?

Wygląda na to, że Google miał w tym tygodniu problemy techniczne z indeksowaniem, które brzmią w niezwykły sposób:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

Wydaje się, że nikt nie jest odporny na problem z indeksowaniem Google, który wprawia wielu właścicieli w zakłopotanie. Blogi i witryny, duże i małe, nie są indeksowane tak szybko, jak zwykle - jeśli w ogóle są indeksowane.

...

John z Google odpowiedział na wątek na forach dla webmasterów, mówiąc:

Dla jasności problemy z tego wątku, które szczegółowo sprawdziłem, nie wynikają ze zmian w naszych zasadach lub zmianach w naszych algorytmach; są one spowodowane problemem technicznym po naszej stronie, który zostanie jak najszybciej rozwiązany w widoczny sposób (może to jednak potrwać do kilku dni, zanim będą widoczne dla wszystkich witryn)

Google nie składa żadnej oferty ani nie gwarantuje, że strony w mapie witryny zostaną zaindeksowane.

Z mojego doświadczenia wynika, że ​​strona musi być połączona (ze strony jakiegoś organu), aby się wyświetlić. Czy ta strona / pytanie jest powiązane bezpośrednio / pośrednio ze strony o pewnym autorytecie?

Np. Jeśli strona główna superuser.com (która prawdopodobnie zawiera wiele linków) jest bezpośrednio połączona z tym pytaniem lub pośrednio poprzez szereg innych stron, można oczekiwać, że zostanie zindeksowana.

Z Google:

Google nie gwarantuje, że zaindeksujemy lub zindeksujemy wszystkie adresy URL. Jednak wykorzystujemy dane z mapy witryny, aby poznać strukturę Twojej witryny, co pozwoli nam ulepszyć nasz harmonogram robota i wykonać lepszą robotę indeksowania Twojej witryny w przyszłości. W większości przypadków webmasterzy skorzystają z przesłania mapy witryny i w żadnym wypadku nie zostaniesz za to ukarany.

http://www.google.com/support/webmasters/bin/answer.py?hl=pl&answer=156184

Myślę, że Google może mieć trudności z indeksowaniem twoich stron internetowych, 50.000 to dużo. Tak więc moją sugestią byłoby rozbicie mapy witryny na części w ten sposób

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

Jeśli się zepsujesz, będziesz mieć więcej szczęścia w indeksowaniu tych 50 000 adresów URL.

Sitemaps.org wyjaśnienie problemu

Możesz podać wiele plików map witryn, ale każdy podany plik mapy witryny musi mieć nie więcej niż 50 000 adresów URL i nie może być większy niż 10 MB (10 487 760 bajtów). Jeśli chcesz, możesz skompresować pliki mapy witryny za pomocą gzip, aby zmniejszyć wymagania dotyczące przepustowości; jednak plik mapy witryny po rozpakowaniu nie może być większy niż 10 MB. Jeśli chcesz podać więcej niż 50 000 adresów URL, musisz utworzyć wiele plików map witryn.

Jeśli udostępniasz wiele map witryn, należy wymienić każdy plik mapy witryny w pliku indeksu map witryn. Pliki indeksu map witryn nie mogą zawierać więcej niż 50 000 map witryn i nie mogą być większe niż 10 MB (10 487 760 bajtów) i można je skompresować. Możesz mieć więcej niż jeden plik indeksu map witryn. Format XML pliku indeksu map witryn jest bardzo podobny do formatu XML pliku map witryn.

http://sitemaps.org/protocol.php

Wygląda na to, że Google twierdzi, że 46 514 przesłanych linków znajduje się w indeksie. Czy może to być problem z (nienawidzę to mówić), ale z rankingiem strony? Witryny zgarniające mogą lepiej krzyżować zadania itp. I zajmować wyższą pozycję. Tylko myśl.

Ta witryna wyszukiwania : superuser.com Wygląda na to, że koniec długiego łańcucha dowiązań symbolicznych również poprawnie pobiera plik sitemap.xml, ale nie zwraca oczekiwanych wyników.

Przy tego typu rzeczach istnieje wiele potencjalnych odpowiedzi.

Zacznę od pytania, ile stron faktycznie masz. (przesłałeś szybką stronę 50 000 adresów URL: superuser.com pokazuje 125 000 zaindeksowanych, czy uważasz, że masz tylko 50 000 adresów URL i przesyłasz je wszystkie, ale Google znajduje 2-3 kopie każdej strony? A może masz adresy URL 1 Mil i tylko 12,5 % jest indeksowanych), uzyskanie pełnego obrazu pomaga wskazać, gdzie szukać problemów.

Jeśli nic nie wydaje się być złe w kroku pierwszym, przejdę do treści, wygląda na to, że QH ma o wiele więcej treści na swojej stronie i łączy wiele innych „zasobów”, mimo że cała ich zawartość jest zeskrobana, możliwe, że Google uważa ich za strona bardziej przydatna, ponieważ zapewnia więcej zasobów / informacji dla użytkownika. Jeśli zostaną uznane za autorytet, a wszystkie Twoje treści będą takie same jak ich, możliwe, że Google nie zaindeksuje Twoich, nawet jeśli jesteś oryginalny.

Jeśli jesteś przekonany, że to nie jest problem, stwórz kilka wysokiej jakości linków do niego, opublikuj to pytanie na popularnych blogach pracowniczych lub poproś znajomych o blogowanie na ten temat, być może jeśli masz znajomych SEO prowadzących popularne blogi, napisaliby studium przypadku na ten temat itp.

Jeśli otrzymasz dużo silnych linków i nadal nie jest indeksowany, poszukaj powodów, dla których może zostać ukarany (w większości przypadków nie będzie to problemem, ale nigdy nie boli to sprawdzać).

Jeśli nic z tego nie działa, to 9 razy na 10 jest to prosty problem techniczny, który został przeoczony (wykluczenie robotów lub coś podobnego).

Jeśli po przejściu tego problemu nadal nie masz odpowiedzi, zapytaj Google i mam nadzieję, że otrzymają odpowiedź.

Pytanie zostało właśnie zadane wczoraj - daj szansę Googlebotowi, nie jesteś jedyną witryną w Internecie, którą musi indeksować, wiesz :)

Jeśli pytania są zwykle indeksowane w ciągu około jednego dnia, a mija tydzień, a ono wciąż nie jest indeksowane, mogę się martwić. Ale na pewno nie po 1 dniu.