Generowanie sumy kontrolnej MD5 pliku

Czy istnieje prosty sposób generowania (i sprawdzania) sum kontrolnych MD5 listy plików w Pythonie? (Mam mały program, nad którym pracuję i chciałbym potwierdzić sumy kontrolne plików).

Możesz użyć hashlib.md5 ()

Pamiętaj, że czasami nie będziesz w stanie zmieścić całego pliku w pamięci. W takim przypadku musisz sekwencyjnie czytać fragmenty 4096 bajtów i podawać je do md5metody:

import hashlib
def md5(fname):
    hash_md5 = hashlib.md5()
    with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

Uwaga: hash_md5.hexdigest() zwróci reprezentację ciągu szesnastkowego dla skrótu, jeśli potrzebujesz tylko spakowanych bajtów return hash_md5.digest(), więc nie musisz konwertować z powrotem.

Jest sposób, który jest dość nieefektywny pamięci .

pojedynczy plik:

import hashlib
def file_as_bytes(file):
    with file:
        return file.read()

print hashlib.md5(file_as_bytes(open(full_path, 'rb'))).hexdigest()

lista plików:

[(fname, hashlib.md5(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

Przypomnijmy jednak, że MD5 jest znany jako uszkodzony i nie powinien być wykorzystywany do żadnych celów, ponieważ analiza podatności może być naprawdę trudna, a analiza ewentualnego przyszłego wykorzystania kodu w celu zapewnienia bezpieczeństwa jest niemożliwa. IMHO powinien być całkowicie usunięty z biblioteki, aby każdy, kto go używa, był zmuszony do aktualizacji. Oto, co powinieneś zrobić zamiast tego:

[(fname, hashlib.sha256(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

Jeśli chcesz tylko 128 bitów skrótu, możesz to zrobić .digest()[:16].

To da ci listę krotek, każda krotka zawiera nazwę swojego pliku i jego skrót.

Ponownie mocno kwestionuję twoje użycie MD5. Powinieneś przynajmniej używać SHA1, i biorąc pod uwagę ostatnie błędy odkryte w SHA1 , prawdopodobnie nawet nie to. Niektórzy uważają, że dopóki nie używasz MD5 do celów „kryptograficznych”, nic ci nie jest. Ale rzeczy mają zwykle szerszy zakres, niż początkowo się spodziewasz, a Twoja przypadkowa analiza podatności może okazać się całkowicie wadliwa. Najlepiej jest po prostu przyzwyczaić się do używania właściwego algorytmu z bramki. Wystarczy wpisać inną wiązkę liter. To nie jest takie trudne.

Oto sposób, który jest bardziej złożony, ale wydajny pod względem pamięci :

import hashlib

def hash_bytestr_iter(bytesiter, hasher, ashexstr=False):
    for block in bytesiter:
        hasher.update(block)
    return hasher.hexdigest() if ashexstr else hasher.digest()

def file_as_blockiter(afile, blocksize=65536):
    with afile:
        block = afile.read(blocksize)
        while len(block) > 0:
            yield block
            block = afile.read(blocksize)


[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.md5()))
    for fname in fnamelst]

I znowu, ponieważ MD5 jest zepsuty i tak naprawdę nie powinien być nigdy używany:

[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.sha256()))
    for fname in fnamelst]

Ponownie możesz [:16]po zakończeniu rozmowy ustawić, hash_bytestr_iter(...)jeśli chcesz tylko 128 bitów wartości.

Najwyraźniej nie dodam niczego zasadniczo nowego, ale dodałem tę odpowiedź, zanim osiągnąłem status komentowania, a regiony kodu wyjaśniają wszystko - w każdym razie, w szczególności, aby odpowiedzieć na pytanie @ Nemo z odpowiedzi Omnifariousa:

Zdarzyło mi się trochę zastanowić nad sumami kontrolnymi (konkretnie przyjechałem tutaj, szukając sugestii dotyczących rozmiarów bloków) i odkryłem, że ta metoda może być szybsza, niż można się było spodziewać. Biorąc najszybszy (ale dość typowy) timeit.timeitlub /usr/bin/timewynik z każdej z kilku metod sumowania pliku o wielkości ok. 11 MB:

$ ./sum_methods.py
crc32_mmap(filename) 0.0241742134094
crc32_read(filename) 0.0219960212708
subprocess.check_output(['cksum', filename]) 0.0553209781647
md5sum_mmap(filename) 0.0286180973053
md5sum_read(filename) 0.0311000347137
subprocess.check_output(['md5sum', filename]) 0.0332629680634
$ time md5sum /tmp/test.data.300k
d3fe3d5d4c2460b5daacc30c6efbc77f  /tmp/test.data.300k

real    0m0.043s
user    0m0.032s
sys     0m0.010s
$ stat -c '%s' /tmp/test.data.300k
11890400

Wygląda więc na to, że zarówno plik Python, jak i / usr / bin / md5sum zajmuje około 30 ms dla pliku 11 MB. Odpowiednia md5sumfunkcja ( md5sum_readw powyższej liście) jest bardzo podobna do funkcji Omnifarious:

import hashlib
def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            hash.update(block)
    return hash.hexdigest()

To prawda, że ​​pochodzą z pojedynczych przebiegów ( mmap te są zawsze o kilka razy szybsze, gdy wykonuje się co najmniej kilkadziesiąt przebiegów), a mój zwykle dostaje dodatkowy f.read(blocksize)po wyczerpaniu bufora, ale jest dość powtarzalny i pokazuje, że md5sumw wierszu poleceń jest niekoniecznie szybsze niż implementacja Pythona ...

EDYCJA: Przepraszam za duże opóźnienie, nie patrzyłem na to od jakiegoś czasu, ale aby odpowiedzieć na pytanie @ EdRandall, napiszę implementację Adler32. Nie uruchomiłem jednak testów porównawczych. Jest to w zasadzie to samo, co byłby CRC32: zamiast wywołań init, update i skrót wszystko jest zlib.adler32()połączeniem:

import zlib
def adler32sum(filename, blocksize=65536):
    checksum = zlib.adler32("")
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            checksum = zlib.adler32(block, checksum)
    return checksum & 0xffffffff

Zauważ, że musi to zaczynać się od pustego łańcucha, ponieważ sumy Adlera rzeczywiście różnią się, gdy zaczynają się od zera w porównaniu do ich sumy "", czyli 1- CRC może 0zamiast tego zacząć . ANDJest potrzebne -ing, aby to 32-bitowa liczba całkowita bez znaku, który zapewnia, że zwróci tę samą wartość całej wersjach Pythona.

W Python 3.8+ możesz to zrobić

import hashlib
with open("your_filename.txt", "rb") as f:
    file_hash = hashlib.md5()
    while chunk := f.read(8192):
        file_hash.update(chunk)

print(file_hash.digest())
print(file_hash.hexdigest())  # to get a printable str instead of bytes

Rozważyć użycie hashlib.blake2bzamiast md5(wystarczy wymienić md5ze blake2bw powyższym fragmencie). Jest kryptograficznie bezpieczny i szybszy niż MD5.

hashlib.md5(pathlib.Path('path/to/file').read_bytes()).hexdigest()

Myślę, że poleganie na pakiecie invoke i pliku binarnym md5sum jest nieco wygodniejsze niż podproces lub pakiet md5

import invoke

def get_file_hash(path):

    return invoke.Context().run("md5sum {}".format(path), hide=True).stdout.split(" ")[0]

To oczywiście zakłada, że ​​masz invoke i zainstalowany md5sum.