Jak wysłać żądanie HTTP HEAD w Pythonie 2?

To, co próbuję tutaj zrobić, to uzyskać nagłówki podanego adresu URL, aby móc określić typ MIME. Chcę mieć możliwość sprawdzenia, czy http://somedomain/foo/na przykład zwróci dokument HTML lub obraz JPEG. Dlatego muszę dowiedzieć się, jak wysłać żądanie HEAD, aby móc odczytać typ MIME bez konieczności pobierania zawartości. Czy ktoś zna łatwy sposób na zrobienie tego?

edycja : Ta odpowiedź działa, ale obecnie powinieneś po prostu skorzystać z biblioteki żądań, jak wspomniano w innych odpowiedziach poniżej.

Użyj httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Istnieje również, getheader(name)aby uzyskać określony nagłówek.

urllib2 może służyć do wykonywania żądania HEAD. Jest to trochę przyjemniejsze niż użycie httplib, ponieważ urllib2 analizuje adres URL za Ciebie, zamiast wymagać podzielenia adresu URL na nazwę hosta i ścieżkę.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Nagłówki są dostępne przez response.info (), jak poprzednio. Co ciekawe, możesz znaleźć adres URL, na który zostałeś przekierowany:

>>> print response.geturl()
http://www.google.com.au/index.html

Obowiązkowy Requestssposób:

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Uważam, że należy również wspomnieć o bibliotece Requests .

Właśnie:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Edycja: właśnie zdałem sobie sprawę, że istnieje httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

tekst linku

Aby uzyskać kompletność, odpowiedź w Pythonie3 jest równoważna zaakceptowanej odpowiedzi przy użyciu protokołu httplib .

To jest w zasadzie taki sam kod tylko że biblioteka nie jest nazywany httplib już jednak http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Nawiasem mówiąc, podczas korzystania z httplib (przynajmniej w wersji 2.5.2), próba odczytania odpowiedzi na żądanie HEAD zostanie zablokowana (w readline), a następnie zakończy się niepowodzeniem. Jeśli nie odczytasz odpowiedzi, nie możesz wysłać kolejnego żądania na połączeniu, będziesz musiał otworzyć nowe. Lub zaakceptuj duże opóźnienie między żądaniami.

Zauważyłem, że httplib jest nieco szybszy niż urllib2. Zsynchronizowałem dwa programy - jeden używający httplib, a drugi urllib2 - wysyłający żądania HEAD do 10000 adresów URL. Protokół httplib był szybszy o kilka minut. httplib „s łączne statystyki były: real 6m21.334s 0m2.124s użytkownik SYS 0m16.372s

A łączne statystyki urllib2 to: real 9m1.380s użytkownik 0m16.666s sys 0m28.565s

Czy ktoś ma w tej sprawie jakiś wkład?

I jeszcze inne podejście (podobne do odpowiedzi Pawła):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Tylko po to, by uniknąć nieograniczonych metod na poziomie instancji.

Prawdopodobnie łatwiej: użyj urllib lub urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () jest obiektem podobnym do słownika, więc możesz wykonać f.info () ['content-type'] itd.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

Dokumentacja zauważa, że ​​httplib nie jest zwykle używany bezpośrednio.