Jak używać grep i wycinać skrypty, aby uzyskać adresy URL witryn z pliku HTML

Próbuję użyć grep i cut, aby wyodrębnić adresy URL z pliku HTML. Linki wyglądają następująco:

<a href="http://examplewebsite.com/">

Inne strony internetowe mają .net, .govale zakładam, że mógłbym zrobić punkt odcięcia już wcześniej >. Wiem, że mogę użyć grep i wyciąć jakoś, aby odciąć wszystko przed http i po .com, ale utknąłem na nim przez jakiś czas.

Jak powiedziałem w moim komentarzu, generalnie nie jest dobrym pomysłem analizowanie kodu HTML za pomocą wyrażeń regularnych, ale czasem możesz go uniknąć, jeśli analizowany kod HTML jest dobrze zachowany.

Aby uzyskać tylko adresy URL, które są hrefatrybutami <a>elementów, najłatwiej jest to zrobić na wielu etapach. Z twoich komentarzy wynika, że ​​chcesz tylko domeny najwyższego poziomu, a nie pełnego adresu URL. W takim przypadku możesz użyć czegoś takiego:

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

gdzie source.htmljest plik zawierający kod HTML do przeanalizowania.

Ten kod wydrukuje wszystkie adresy URL najwyższego poziomu, które występują jako hrefatrybut dowolnych <a>elementów w każdym wierszu. -iOpcja do pierwszego greppolecenia jest, aby zapewnić, że będzie działać na obu <a>i <A>elementów. Chyba można też dać -ido 2 grepuchwycić wielkimi literami HREFatrybuty OTOH, wolałbym zignorować taką złamaną HTML. :)

Aby przetworzyć zawartość http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

wynik

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

Moje wyniki nieco się różnią od innych przykładów, gdy jestem przekierowywany na australijską stronę Google.

Nie jestem pewien, czy masz ograniczone narzędzia:

Jednak wyrażenie regularne może nie być najlepszym sposobem, jak wspomniano, ale oto przykład, który przygotowałem:

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E: jest taki sam jak egrep
• grep -o: wyświetla tylko to, co zostało grepowane
• (http | https): jest albo / lub
• az: wszystkie małe litery
• AZ: wszystko ma przewagę
• . : jest kropką
• \?: jest ?
• *: to powtórzenie grupy [...]
• uniq: usunie wszelkie duplikaty

Wynik:

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

Możesz również dodać, \daby złapać inne typy liczb.

Jeśli twój grep obsługuje wyrażenia regularne Perla:

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")i (?=")są wyrażeniami wyglądającymi dla hrefatrybutu. To wymaga -Popcji.
• -o drukuje pasujący tekst.

Na przykład:

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

Jak zwykle nie ma gwarancji, że są to poprawne identyfikatory URI ani że analizowany kod HTML będzie prawidłowy.

Jako alternatywę inną niż regularna , użyj pup :

pup 'a[href] attr{href}' < yourfile.html

Znajduje wszystkie aelementy, które mają hrefatrybut, a następnie wyświetla wartość hrefatrybutu.

Aby zainstalować pup, potrzebujesz Go (język programowania):

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

Zaletą tego rozwiązania jest to, że nie polega on na poprawnym sformatowaniu kodu HTML .

Znalazłem tutaj rozwiązanie, które jest IMHO znacznie prostsze i potencjalnie szybsze niż to, co zostało tutaj zaproponowane. Trochę dostosowałem, aby obsługiwać pliki https. Ale wersja TD; TR to ...

PS: Możesz zastąpić adres URL witryny ścieżką do pliku, a to będzie działać w ten sam sposób.

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

Jeśli chcesz zobaczyć linki zamiast umieszczać je w pliku, spróbuj zamiast tego ...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

Wynik będzie wyglądał podobnie do następującego ...

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

W moim przypadku to zadziałało. Ale uważaj na to, że w dzisiejszych czasach ludzie dodają linki takie jak src = "// blah.tld" dla URI CDN bibliotek. Nie chciałem widzieć tych w pobranych linkach.

Nie trzeba próbować sprawdzać href ani innych źródeł linków, ponieważ „lynx -dump” domyślnie wyodrębnia wszystkie klikalne linki z danej strony. Więc jedyną rzeczą, którą musisz zrobić po tym, jest przeanalizowanie wyniku „lynx -dump” za pomocą grep, aby uzyskać czystszą, surową wersję tego samego wyniku.

wget -qO- google.com |
tr \" \\n | grep https\*://

... prawdopodobnie poradziłby sobie całkiem nieźle. Jak napisano, drukuje:

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

Jeśli ważne jest, aby dopasowywać tylko linki i spośród tych domen najwyższego poziomu, możesz:

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

... lub coś w tym rodzaju - choć dla niektórych sedmożesz potrzebować zastąpić dosłowny \nznak ewline dla każdego z dwóch ostatnich n.

Jak napisano, powyższe polecenie wypisuje:

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

... i w obu przypadkach (ale najprawdopodobniej najbardziej przydatne z tym drugim) możesz przyczepić |sort -ufiltr do końca, aby uzyskać listę sorti usunąć duplikaty.

Najkrótszy

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'