Pytania otagowane jako sitemap

Powiedzmy, że mam sitemap.xmlplik z tymi danymi: <url> <loc>http://domain.com/pag1</loc> <lastmod>2012-08-25</lastmod> <changefreq>weekly</changefreq> <priority>0.9</priority> </url> <url> <loc>http://domain.com/pag2</loc> <lastmod>2012-08-25</lastmod> <changefreq>weekly</changefreq> <priority>0.9</priority> </url> <url> <loc>http://domain.com/pag3</loc> <lastmod>2012-08-25</lastmod> <changefreq>weekly</changefreq> <priority>0.9</priority> </url> Chcę wyodrębnić z niego wszystkie lokalizacje (dane pomiędzy <loc>i </loc>). Przykładowe dane wyjściowe będą takie jak: http://domain.com/pag1 http://domain.com/pag2 http://domain.com/pag3 Jak to zrobić?

5 url  xml  extract  sitemap 

Muszę pobrać całą mapę witryny w formacie takim jak: http://example.org/ http://example.org/product/ http://example.org/service/ http://example.org/about/ http://example.org/product/viewproduct/ Potrzebuję go opartego na linkach (bez pliku lub dir brute-force), takiego jak: parsuj stronę główną -> pobierz wszystkie linki -> przeglądaj je -> pobierz linki, ... Potrzebuję też możliwości wykrycia, czy strona jest „szablonem”, aby nie …

website  wget  web-crawler  sitemap