Czy obliczanie skrótu MD5 jest mniej obciążające procesor niż funkcje z rodziny SHA?

115

Czy obliczanie skrótu MD5 jest mniej obciążające procesor niż SHA-1 lub SHA-2 na „standardowym” laptopie sprzętowym x86? Interesują mnie informacje ogólne, które nie dotyczą konkretnego chipa.

AKTUALIZACJA: W moim przypadku jestem zainteresowany obliczeniem skrótu pliku. Jeśli rozmiar pliku ma znaczenie, przyjmijmy 300 KB.

— Mick
źródło

To nie jest odpowiedź na twoje pytanie, ale zwolennicy Skeina przedstawili jego prędkość i na pewno nie jest ona słabsza niż wycofany z eksploatacji MD5 w tym czasie. W wiadomościach, które musisz haszować, są bardzo krótkie, jednak szybkość może być wadą dla kryptograficznej funkcji skrótu (w szczególności, jak szybko ktoś może ją zaimplementować, a nie jak szybko działa na twoim laptopie). schneier.com/skein1.2.pdf

— Pascal Cuoq,

4

@Pascal: Skein nie jest jednak najszybszym z kandydatów na SHA-3, zwłaszcza na platformach 32-bitowych. Na 64-bitowym x86, Skein osiąga około 300 MB / s (Skein-512 jest nieco szybszy niż Skein-256), co jest porównywalne z SHA-1, ale w trybie 32-bitowym wydajność spada do mniej niż 60 MB / s, dwukrotnie wolniej niż SHA-256. Z drugiej strony SHABAL, kolejny kandydat na SHA-3, oferuje wydajność podobną do SHA-1 na platformach 32-bitowych i 64-bitowych.

— Thomas Pornin

123

Tak, MD5 obciąża nieco mniej procesora. Na moim Intel x86 (Core2 Quad Q6600, 2,4 GHz, z jednym rdzeniem) otrzymuję to w trybie 32-bitowym:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

a to w trybie 64-bitowym:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Liczby są podawane w megabajtach na sekundę dla „długich” wiadomości (tak jest w przypadku wiadomości dłuższych niż 8 kB). Dzieje się tak w przypadku sphlib , biblioteki implementacji funkcji skrótu w C (i Javie). Wszystkie implementacje pochodzą od tego samego autora (mnie) i zostały wykonane z porównywalnymi optymalizacjami; w ten sposób różnice prędkości można uznać za rzeczywiście nieodłączne dla funkcji.

Dla porównania, weźmy pod uwagę, że najnowszy dysk twardy będzie działał z prędkością około 100 MB / s, a wszystko, co znajdzie się poza USB, osiągnie wartość poniżej 60 MB / s. Mimo że SHA-256 wydaje się tutaj „wolny”, jest wystarczająco szybki do większości zastosowań.

Zwróć uwagę, że OpenSSL zawiera 32-bitową implementację SHA-512, która jest dość szybsza niż mój kod (ale nie tak szybka jak 64-bitowy SHA-512), ponieważ implementacja OpenSSL jest w asemblerze i używa rejestrów SSE2, co nie może być zrobione w zwykłym C. SHA-512 jest jedyną funkcją spośród tych czterech, która korzysta z implementacji SSE2.

Edycja: na tej stronie ( archiwum ) można znaleźć raport o szybkości wielu funkcji haszujących (kliknij link „Telechargez maintenant”). Raport jest w języku francuskim, ale w większości jest pełen tabel i liczb, a liczby są międzynarodowe. Zaimplementowane funkcje hashujące nie obejmują kandydatów SHA-3 (poza SHABALEM), ale pracuję nad tym.

— Thomas Pornin
źródło

2

Nie sądzę, że twoje testy porównawcze są przydatne. Porównanie szybkości dwóch algorytmów opartych na równoważnej, ale niepełnej optymalizacji jest nieistotne. W prawdziwym świecie nie tworzysz własnej implementacji, ale zamiast tego używasz w pełni zoptymalizowanych implementacji. Wyniki z nich należy porównać.

— Edward Brey

10

@EdwardBrey Właściwie są one bliskie pełnej optymalizacji. W rzeczywistości jego implementacja md5 działa znacznie szybciej niż ta, którą oferuje OpenSSL, więc nie każda implementacja zostanie zoptymalizowana w „prawdziwym świecie”, jak mówisz. Ponadto, chociaż nie są one doskonałe (masz co do tego rację), imho służą jako doskonała odpowiedź na to konkretne pytanie.

— Gaspa79

50

Na moim MacBooku Air z 2012 roku (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo), SHA-1 jest nieco szybszy niż MD5 (używając OpenSSL w trybie 64-bitowym):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Aktualizacja: 10 miesięcy później z OS X 10.9, SHA-1 działa wolniej na tym samym komputerze:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Druga aktualizacja: w systemie OS X 10.10 prędkość SHA-1 powróciła do poziomu 10.8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Trzecia aktualizacja: OS X 10.14 z LibreSSL jest dużo szybszy (nadal na tym samym komputerze). SHA-1 nadal wychodzi na wierzch:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

— nwellnhof
źródło

2

dziwne, moje powietrze jest takie samo jak twoje i uzyskałem przeciwne wyniki testów porównawczych. z 8192 bajtami: md5 305549,52k; sha1 204668,57k

— Carlos Fontes

3

Hmm, na tej samej maszynie również uzyskuję inne wyniki niż w zeszłym roku: md5 381756.70k, sha1 313881.86k. Może z powodu aktualizacji do 10.9 (OpenSSL 0.9.8y).

— nwellnhof

6

To świetna odpowiedź. to pokazuje, że Ci zależy. dzięki człowiekowi za udostępnienie

— M na

13

Prawdziwa odpowiedź brzmi: to zależy

Należy wziąć pod uwagę kilka czynników, najbardziej oczywiste to: procesor, na którym uruchamiasz te algorytmy i implementacja algorytmów.

Na przykład ja i mój przyjaciel używamy dokładnie tej samej wersji openssl i uzyskujemy nieco inne wyniki z różnymi procesorami Intel Core i7.

Mój test w pracy z procesorem Intel (R) Core (TM) i7-2600 @ 3,40 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

I to z procesorem Intel (R) Core (TM) i7 920 @ 2,67 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Obaj używamy dokładnie tych samych plików binarnych OpenSSL 1.0.1j 15 października 2014 z oficjalnego pakietu ArchLinux.

Moim zdaniem z dodatkowym zabezpieczeniem sha1, projektanci cpu są bardziej skłonni do poprawy szybkości sha1 i więcej programistów będzie pracować nad optymalizacją algorytmu niż md5sum.

Myślę, że md5 nie będzie już kiedyś używane, ponieważ wygląda na to, że nie ma przewagi nad sha1. Przetestowałem również niektóre przypadki na prawdziwych plikach i wyniki były zawsze takie same w obu przypadkach (prawdopodobnie ograniczone przez I / O dysku).

md5sum dużego pliku 4,6 GB zajęło dokładnie tyle samo czasu co suma sha1 tego samego pliku, to samo dotyczy wielu małych plików (488 w tym samym katalogu). Przeprowadzałem testy kilkanaście razy i konsekwentnie uzyskiwały te same wyniki.

-

Byłoby bardzo interesujące zbadanie tego dalej. Sądzę, że jest kilku ekspertów, którzy mogą dostarczyć solidnej odpowiedzi na pytanie, dlaczego sha1 jest szybszy niż md5 na nowszych procesorach.

— Johnride
źródło

6

Naprawdę musisz kupić dysk SSD (i / lub usunąć McAfee) :)

— Maarten Bodewes

1

@owlstead cholera, zapomniałem tout wyłączyć "tryb wolny" moich Linux-ów, kiedy próbowałem tego.

— Johnride,

4

@Johnride, nie testuj z pliku. Uruchom go z danych w pamięci lub nawet prościej po prostu ponownie zhasuj tę samą wartość.

— Robino

1

@Robino to właśnie openssl speedrobi, co jest pierwszym i najbardziej znaczącym testem porównawczym.

— Johnride,

1

MD5 również korzysta z użycia SSE2, sprawdź BarsWF, a następnie powiedz mi, że tak nie jest. Wystarczy trochę wiedzy na temat asemblera i możesz stworzyć własne procedury MD5 SSE2. Jednak w przypadku dużych ilości przepustowości występuje kompromis między szybkością podczas mieszania a czasem spędzonym na przestawianiu danych wejściowych, aby były zgodne z zastosowanymi instrukcjami SIMD.

— Bob Budowniczy
źródło

3

Na pierwszy rzut oka nie jest jasne, czy SSE2 jest używane do przyspieszenia jednego wątku MD5, czy do sparowania kilku równoległych wątków MD5; to drugie jest oczywiście łatwe dla większości algorytmów, ale nie liczy się to jako korzyści z SSE2, ponieważ zwykle potrzebny jest pojedynczy strumień danych.

— Lapo

0

sha1sum jest trochę szybszy na Power9 niż md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

— B Abali
źródło