Pobierz duży plik w pythonie z żądaniami

Requests to naprawdę fajna biblioteka. Chciałbym go użyć do pobierania dużych plików (> 1 GB). Problem polega na tym, że nie można zachować całego pliku w pamięci. Potrzebuję go odczytać w kawałkach. Jest to problem z następującym kodem

import requests

def DownloadFile(url)
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return 

Z jakiegoś powodu to nie działa w ten sposób. Nadal ładuje odpowiedź do pamięci przed zapisaniem jej w pliku.

AKTUALIZACJA

Jeśli potrzebujesz małego klienta (Python 2.x / 3..x), który może pobierać duże pliki z FTP, możesz go znaleźć tutaj . Obsługuje wielowątkowość i ponowne łączenie (monitoruje połączenia), a także dostraja parametry gniazd dla zadania pobierania.

W przypadku następującego kodu przesyłania strumieniowego użycie pamięci w języku Python jest ograniczone bez względu na rozmiar pobranego pliku:

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter below
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                # If you have chunk encoded response uncomment if
                # and set chunk_size parameter to None.
                #if chunk: 
                f.write(chunk)
    return local_filename

Zauważ, że liczba bajtów zwróconych przy użyciu iter_contentnie jest dokładnie taka chunk_size; oczekuje się, że będzie to liczba losowa, która jest często znacznie większa i oczekuje się, że będzie różna w każdej iteracji.

Zobacz https://requests.readthedocs.io/en/latest/user/advanced/#body-content-workflow i https://requests.readthedocs.io/en/latest/api/#requests.Response.iter_content w celu uzyskania dalszych informacji odniesienie.

Jest to o wiele łatwiejsze, jeśli używasz Response.rawi shutil.copyfileobj():

import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename

To przesyła plik na dysk bez użycia nadmiernej pamięci, a kod jest prosty.

Nie do końca to, o co prosi OP, ale ... jest to absurdalnie łatwe, aby to zrobić za pomocą urllib:

from urllib.request import urlretrieve
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
dst = 'ubuntu-16.04.2-desktop-amd64.iso'
urlretrieve(url, dst)

Lub w ten sposób, jeśli chcesz zapisać go do pliku tymczasowego:

from urllib.request import urlopen
from shutil import copyfileobj
from tempfile import NamedTemporaryFile
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
with urlopen(url) as fsrc, NamedTemporaryFile(delete=False) as fdst:
    copyfileobj(fsrc, fdst)

Obejrzałem proces:

watch 'ps -p 18647 -o pid,ppid,pmem,rsz,vsz,comm,args; ls -al *.iso'

Widziałem, jak plik się powiększa, ale zużycie pamięci pozostało na poziomie 17 MB. Czy coś brakuje?

Twój rozmiar fragmentu może być zbyt duży, czy próbowałeś to upuścić - może 1024 bajty na raz? (możesz też użyć withdo uporządkowania składni)

def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
    return 

Nawiasem mówiąc, jak wnioskujesz, że odpowiedź została załadowana do pamięci?

To brzmi tak, jakby pyton nie jest przepłukanie danych do pliku, od innych pytań, dlatego można spróbować f.flush()i os.fsync()aby wymusić zapis pliku i wolnej pamięci;

    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                f.flush()
                os.fsync(f.fileno())