Jak używać Pythona do logowania się na stronie internetowej i pobierania plików cookie do późniejszego wykorzystania?

Chcę pobrać i przeanalizować stronę internetową za pomocą Pythona, ale aby uzyskać do niej dostęp, potrzebuję zestawu kilku plików cookie. Dlatego muszę najpierw zalogować się do strony internetowej przez https. Moment logowania polega na wysłaniu dwóch parametrów POST (nazwa użytkownika, hasło) do /login.php. Podczas żądania logowania chcę pobrać pliki cookie z nagłówka odpowiedzi i zapisać je, aby móc ich użyć w żądaniu pobrania strony internetowej /data.php.

Jak miałbym to zrobić w Pythonie (najlepiej 2.6)? Jeśli to możliwe, chcę używać tylko wbudowanych modułów.

import urllib, urllib2, cookielib

username = 'myuser'
password = 'mypassword'

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : username, 'j_password' : password})
opener.open('http://www.example.com/login.php', login_data)
resp = opener.open('http://www.example.com/hiddenpage.php')
print resp.read()

resp.read()to prosty kod HTML strony, którą chcesz otworzyć, i możesz użyć openerdo wyświetlenia dowolnej strony za pomocą pliku cookie sesji.

Oto wersja korzystająca z doskonałej biblioteki żądań :

from requests import session

payload = {
    'action': 'login',
    'username': USERNAME,
    'password': PASSWORD
}

with session() as c:
    c.post('http://example.com/login.php', data=payload)
    response = c.get('http://example.com/protected_page.php')
    print(response.headers)
    print(response.text)