Jakie są różnice między modułem urllib, urllib2, urllib3 i modułem żądań?

W Pythonie, jakie są różnice między tymi urllib, urllib2, urllib3oraz requestsmodułów? Dlaczego są trzy? Wydają się robić to samo ...

Wiem, że zostało już powiedziane, ale bardzo polecam requestspakiet Python.

Jeśli używasz języków innych niż python, prawdopodobnie myślisz urllibi urllib2są łatwe w użyciu, nie mają dużo kodu i są bardzo zdolne, tak myślałem. Ale requestspakiet jest tak niewiarygodnie przydatny i krótki, że wszyscy powinni go używać.

Po pierwsze, obsługuje w pełni spokojny interfejs API i jest tak łatwy jak:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Bez względu na to, czy GET / POST, nigdy nie musisz ponownie kodować parametrów, wystarczy wziąć słownik jako argument i dobrze jest przejść:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Ponadto ma nawet wbudowany dekoder JSON (znowu wiem, że json.loads()nie ma nic więcej do napisania, ale z pewnością jest to wygodne):

resp.json()

Lub jeśli dane odpowiedzi to tylko tekst, użyj:

resp.text

To tylko wierzchołek góry lodowej. Oto lista funkcji z witryny z żądaniami:

• Międzynarodowe domeny i adresy URL
• Keep-Alive & Connection Pooling
• Sesje z trwałością plików cookie
• Weryfikacja SSL w stylu przeglądarki
• Podstawowe / uwierzytelnianie szyfrowane
• Eleganckie ciasteczka z kluczem / wartością
• Automatyczna dekompresja
• Organy odpowiedzi Unicode
• Przesyłanie plików wieloczęściowych
• Limit czasu połączenia
• Wsparcie .netrc
• Element listy
• Python 2.6–3.4
• Bezpieczny dla wątków.

urllib2 zapewnia dodatkową funkcjonalność, a mianowicie urlopen()funkcja może pozwolić ci na określenie nagłówków (normalnie musiałeś używać httplib w przeszłości, co jest znacznie bardziej szczegółowe). Co ważniejsze, urllib2 zapewnia Requestklasę, która pozwala na więcej deklaratywne podejście do robienia zapytania:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Pamiętaj, że urlencode()jest tylko w urllib, a nie urllib2.

Istnieją również procedury obsługi bardziej zaawansowanej obsługi adresów URL w urllib2. Krótka odpowiedź brzmi: chyba że pracujesz ze starszym kodem, prawdopodobnie chcesz użyć otwieracza URL z urllib2, ale nadal musisz zaimportować do urllib dla niektórych funkcji narzędziowych.

Dodatkowa odpowiedź Dzięki Google App Engine możesz używać dowolnego z httplib, urllib lub urllib2, ale wszystkie z nich są tylko opakowaniami interfejsu API pobierania URL Google. Oznacza to, że nadal podlegasz tym samym ograniczeniom, takim jak porty, protokoły i dozwolona długość odpowiedzi. Możesz jednak korzystać z rdzenia bibliotek tak, jak można by oczekiwać przy pobieraniu adresów URL HTTP.

urllib i urllib2 to moduły Pythona, które wykonują czynności związane z żądaniami adresów URL, ale oferują różne funkcje.

1) urllib2 może zaakceptować obiekt Request w celu ustawienia nagłówków żądania URL, urllib akceptuje tylko adres URL.

2) urllib zapewnia metodę urlencode , która jest używana do generowania ciągów zapytań GET, urllib2 nie ma takiej funkcji. Jest to jeden z powodów, dla których urllib jest często używany wraz z urllib2.

Requests - Requests 'to prosta, łatwa w użyciu biblioteka HTTP napisana w języku Python.

1) Żądania w Pythonie automatycznie kodują parametry, więc przekazujesz je jako proste argumenty, inaczej niż w przypadku urllib, gdzie musisz użyć metody urllib.encode () do zakodowania parametrów przed ich przekazaniem.

2) Automatycznie dekodował odpowiedź do Unicode.

3) Żądania mają również znacznie wygodniejszą obsługę błędów. Jeśli uwierzytelnienie się nie powiedzie, urllib2 podniósłby błąd urllib2.URLEr, podczas gdy żądania zwróciły normalny obiekt odpowiedzi, zgodnie z oczekiwaniami. Wszystko, co musisz zobaczyć, czy żądanie zakończyło się pomyślnie przez boolean response.ok

Jedną znaczącą różnicą jest przenoszenie Python2 na Python3. urllib2 nie istnieje dla Python3 i jego metod przeniesionych do urllib. Więc używasz tego intensywnie i chcesz migrować do Python3 w przyszłości, rozważ użycie urllib. Jednak narzędzie 2to3 automatycznie wykona większość pracy za Ciebie.

Aby dodać do istniejących odpowiedzi, nie widzę, aby ktokolwiek wspomniał, że żądania Pythona nie są biblioteką natywną. Jeśli nie masz nic przeciwko dodawaniu zależności, żądania są w porządku. Jednak jeśli próbujesz uniknąć dodawania zależności, urllib jest rodzimą biblioteką Pythona, która jest już dostępna.

Podoba mi się urllib.urlencodefunkcja i wydaje się, że nie istnieje urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Aby uzyskać treść adresu URL:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

Trudno jest napisać w odpowiedziach Python2 i Python3 oraz requestkod zależności, ponieważ urlopen()funkcje i requests.get()funkcje zwracają różne typy:

• Python2 urllib.request.urlopen()zwraca ahttp.client.HTTPResponse
• Python3 urllib.urlopen(url)zwraca aninstance
• Żądanie request.get(url)zwraca arequests.models.Response

Zasadniczo powinieneś używać urllib2, ponieważ czasami jest to nieco łatwiejsze, akceptując obiekty Request, a także podniesie wyjątek URLException na temat błędów protokołu. Jednak w Google App Engine nie można używać żadnego z nich. Musisz użyć interfejsu API pobierania adresu URL udostępnianego przez Google w środowisku piaskownicy w języku Python.

Kluczowym punktem, którego brakuje mi w powyższych odpowiedziach, jest to, że urllib zwraca obiekt typu <class http.client.HTTPResponse>podczas gdy requestszwraca <class 'requests.models.Response'>.

Z tego powodu metoda read () może być używana z, urllibale nie z requests.

PS: requestsjest już bogaty w tak wiele metod, że prawie nie potrzebuje jeszcze jednej read();