Jak mogę używać żądań w asyncio?

Chcę wykonywać równoległe zadania żądań http w programie asyncio, ale uważam, python-requestsże zablokowałoby to pętlę zdarzeń asyncio. Znalazłem aiohttp, ale nie mógł on obsłużyć żądania HTTP przez proxy http.

Dlatego chcę wiedzieć, czy istnieje sposób na wykonywanie asynchronicznych żądań http za pomocą asyncio.

Aby użyć żądań (lub innych bibliotek blokujących) z asyncio, możesz użyć BaseEventLoop.run_in_executor do uruchomienia funkcji w innym wątku i uzyskania wyniku z niej. Na przykład:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Spowoduje to równoległe uzyskanie obu odpowiedzi.

W Pythonie 3.5 możesz użyć nowej await/ asyncskładni:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Zobacz PEP0492 po więcej.

aiohttp może być już używany z proxy HTTP:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Powyższe odpowiedzi nadal wykorzystują stare procedury w stylu Pythona 3.4. Oto, co byś napisał, gdybyś miał Pythona 3.5+.

aiohttp obsługuje teraz proxy http

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Żądania obecnie nie są obsługiwane asyncioi nie ma planów zapewnienia takiego wsparcia. Prawdopodobnie można zaimplementować niestandardowy „adapter transportowy” (omawiany tutaj ), który wie, jak go używać asyncio.

Jeśli znajdę się przez jakiś czas, to może rzeczywiście zajrzę, ale nie mogę nic obiecać.

Istnieje dobry przypadek pętli async / await i wątków w artykule Pimin Konstantin Kefaloukos Easy równoległe żądania HTTP z Pythonem i asyncio :

Aby zminimalizować całkowity czas ukończenia, możemy zwiększyć rozmiar puli wątków, aby dopasować ją do liczby żądań, które musimy wykonać. Na szczęście jest to łatwe, jak zobaczymy dalej. Poniższy kod jest przykładem tego, jak wykonać dwadzieścia asynchronicznych żądań HTTP z pulą wątków złożoną z dwudziestu wątków roboczych:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())