Jak napisać poprawny mikro-test porównawczy w Javie?

Jak piszesz (i uruchamiasz) poprawny mikro-test w Javie?

Szukam przykładów kodu i komentarzy ilustrujących różne rzeczy do przemyślenia.

Przykład: Czy test porównawczy powinien mierzyć czas / iterację lub iteracje / czas i dlaczego?

Powiązane: Czy testowanie stopera jest dopuszczalne?

Wskazówki dotyczące pisania mikroprocesorów od twórców Java HotSpot :

Zasada 0: Przeczytaj renomowany artykuł na temat maszyn JVM i mikro-benchmarkingu. Dobrym jest Brian Goetz, 2005 . Nie oczekuj zbyt wiele od mikro-testów; mierzą tylko ograniczony zakres charakterystyki wydajności JVM.

Reguła 1: Zawsze dołączaj fazę rozgrzewki, która uruchamia jądro testowe przez cały czas, wystarczającą do uruchomienia wszystkich inicjalizacji i kompilacji przed fazami czasowymi. (Mniej iteracji jest w porządku w fazie rozgrzewania. Zasadą jest kilkadziesiąt tysięcy iteracji w wewnętrznej pętli).

Zasada nr 2: Zawsze uruchamiaj z -XX:+PrintCompilation, -verbose:gcitd, więc można sprawdzić, że kompilator i inne części JVM nie robią nieoczekiwany prace podczas fazy rozrządu.

Reguła 2.1: Drukuj wiadomości na początku i na końcu faz synchronizacji i rozgrzewki, abyś mógł sprawdzić, czy nie ma wyjścia z reguły 2 podczas fazy synchronizacji.

Zasada 3: Bądź świadomy różnicy między -clienti -server, a OSR i regularnymi kompilacjami. -XX:+PrintCompilationFlaga informuje OSR składanki z co-znak oznaczający zakaz początkowy punkt wejścia, np Trouble$1::run @ 2 (41 bytes). Preferuj serwer od klienta, a normalnie OSR, jeśli zależy Ci na najlepszej wydajności.

Zasada 4: Bądź świadomy efektów inicjalizacji. Nie drukuj po raz pierwszy podczas fazy pomiaru czasu, ponieważ drukowanie ładuje i inicjuje klasy. Nie ładuj nowych klas poza fazą rozgrzewki (lub końcową fazą raportowania), chyba że testujesz ładowanie klas konkretnie (iw takim przypadku ładuj tylko klasy testowe). Zasada 2 jest pierwszą linią obrony przed takimi efektami.

Zasada 5: Bądź świadomy efektów deoptimizacji i rekompilacji. Nie bierz żadnej ścieżki kodu po raz pierwszy w fazie synchronizacji, ponieważ kompilator może śmieci i ponownie skompilować kod, w oparciu o wcześniejsze optymistyczne założenie, że ścieżka nie będzie w ogóle używana. Zasada 2 jest pierwszą linią obrony przed takimi efektami.

Reguła 6: Użyj odpowiednich narzędzi, aby odczytać zdanie kompilatora i spodziewaj się zaskoczenia kodem, który produkuje. Sprawdź sam kod przed sformułowaniem teorii na temat tego, co czyni coś szybszym lub wolniejszym.

Zasada 7: Zmniejsz hałas w pomiarach. Uruchom test porównawczy na cichej maszynie i uruchom go kilka razy, odrzucając wartości odstające. Użyj -Xbatchdo serializacji kompilatora z aplikacją i rozważ ustawienie, -XX:CICompilerCount=1aby uniemożliwić równoległe działanie kompilatora. Postaraj się zmniejszyć obciążenie GC, ustaw Xmx(wystarczająco duży) równość Xmsi użyj, UseEpsilonGCjeśli jest dostępny.

Zasada 8: Użyj biblioteki do testu porównawczego, ponieważ jest ona prawdopodobnie bardziej wydajna i została już debugowana wyłącznie w tym celu. Takich jak JMH , Caliper lub Bill and Paul's Excellent UCSD Benchmarks for Java .

Wiem, że to pytanie zostało oznaczone jako odpowiedź, ale chciałem wspomnieć o dwóch bibliotekach, które pomagają nam pisać mikroskopy

Suwmiarka od Google

Wprowadzenie do samouczków

1. http://codingjunkie.net/micro-benchmarking-with-caliper/
2. http://vertexlabs.co.uk/blog/caliper

JMH z OpenJDK

Wprowadzenie do samouczków

1. Unikanie pułapek porównawczych w JVM
2. http://nitschinger.at/Using-JMH-for-Java-Microbenchmarking
3. http://java-performance.info/jmh/

Ważnymi rzeczami dla testów porównawczych Java są:

• Najpierw rozgrzej JIT, uruchamiając kod kilka razy, zanim go odmierzysz
• Upewnij się, że uruchamiasz go wystarczająco długo, aby móc mierzyć wyniki w sekundach lub (lepiej) dziesiątkach sekund
• Chociaż nie można wywoływać System.gc()między iteracjami, dobrym pomysłem jest uruchomienie go między testami, aby mieć nadzieję, że każdy test uzyska „czystą” przestrzeń pamięci do pracy. (Tak, gc()to raczej podpowiedź niż gwarancja, ale bardzo prawdopodobne jest , że naprawdę zbierze śmieci w moim doświadczeniu.)
• Lubię wyświetlać iteracje i czas oraz wynik czasu / iteracji, który można skalować w taki sposób, że „najlepszy” algorytm otrzymuje wynik 1,0, a inne są oceniane w sposób względny. Oznacza to, że możesz uruchamiać wszystkie algorytmy przez długi czas, zmieniając zarówno liczbę iteracji, jak i czas, ale nadal uzyskując porównywalne wyniki.

Właśnie bloguję na temat projektowania frameworka w .NET. Mam kilka z wcześniejszych postów , które mogą być w stanie dać ci kilka pomysłów - nie wszystko będzie właściwe, oczywiście, ale niektóre z nich mogą być.

jmh jest najnowszym dodatkiem do OpenJDK i został napisany przez niektórych inżynierów wydajności z Oracle. Z pewnością warte obejrzenia.

Jmh to uprząż Java do budowania, uruchamiania i analizowania testów porównawczych nano / mikro / makro napisanych w Javie i innych językach ukierunkowanych na JVM.

Bardzo ciekawe informacje zakopane w komentarzach do przykładowych testów .

Zobacz też:

• Unikanie pułapek porównawczych w JVM
• Dyskusja na temat głównych zalet JMH .

Czy test porównawczy powinien mierzyć czas / iterację lub iteracje / czas i dlaczego?

To zależy od tego , co próbujesz przetestować.

Jeśli jesteś zainteresowany opóźnieniami , użyj czasu / iteracji, a jeśli jesteś zainteresowany przepustowością , użyj iteracji / czasu.

Jeśli próbujesz porównać dwa algorytmy, wykonaj co najmniej dwa testy porównawcze dla każdego z nich, zmieniając kolejność. to znaczy:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

Zauważyłem pewne zauważalne różnice (czasami 5-10%) w czasie wykonywania tego samego algorytmu w różnych przebiegach.

Upewnij się również, że n jest bardzo duże, aby czas działania każdej pętli wynosił co najmniej 10 sekund. Im więcej iteracji, tym bardziej znaczące dane w czasie testu i tym bardziej wiarygodne są dane.

Upewnij się, że w jakiś sposób korzystasz z wyników obliczonych w kodzie testowym. W przeciwnym razie kod można zoptymalizować.

Istnieje wiele możliwych pułapek pisania mikrokredytów w Javie.

Po pierwsze: musisz obliczyć za pomocą wszelkiego rodzaju zdarzeń, które zajmują mniej więcej czas: zbieranie śmieci, efekty buforowania (systemu operacyjnego dla plików i procesora dla pamięci), operacji we / wy itp.

Po drugie: nie można ufać dokładności zmierzonych czasów w bardzo krótkich odstępach czasu.

Po trzecie: JVM optymalizuje kod podczas wykonywania. Tak więc różne przebiegi w tej samej instancji JVM będą coraz szybsze.

Moje rekomendacje: Spraw, by Twój test porównawczy działał przez kilka sekund, co jest bardziej niezawodne niż czas działania przez milisekundy. Rozgrzej JVM (oznacza uruchomienie testu co najmniej raz bez mierzenia, że ​​JVM może uruchomić optymalizacje). I przeprowadź test porównawczy wiele razy (może 5 razy) i weź medianę. Uruchom każdy mikro-test porównawczy w nowej instancji JVM (wywołaj każdą nową testową Javę), w przeciwnym razie efekty optymalizacji JVM mogą wpłynąć na późniejsze testy. Nie wykonuj rzeczy, które nie są wykonywane w fazie rozgrzewania (ponieważ może to spowodować obciążenie klasy i rekompilację).

Należy również zauważyć, że ważna może być również analiza wyników mikroprocesora przy porównywaniu różnych wdrożeń. Dlatego test istotności należy wykonać .

Wynika to z faktu, że wdrożenie Amoże być szybsze przez większość przebiegów testu porównawczego niż wdrożenie B. Ale Amoże również mieć większy spread, więc zmierzona korzyść z wydajności Anie będzie miała żadnego znaczenia w porównaniu zB .

Ważne jest więc, aby poprawnie napisać i uruchomić mikroprocesor, ale także poprawnie go przeanalizować.

Aby dodać do innych doskonałych porad, będę również pamiętać o następujących kwestiach:

W przypadku niektórych procesorów (np. Seria Intel Core i5 z TurboBoost) temperatura (i liczba obecnie używanych rdzeni, a także ich procent wykorzystania) wpływa na szybkość zegara. Ponieważ procesory są taktowane dynamicznie, może to wpłynąć na wyniki. Na przykład, jeśli masz aplikację jednowątkową, maksymalna prędkość zegara (z TurboBoost) jest wyższa niż dla aplikacji wykorzystującej wszystkie rdzenie. Może to zatem zakłócać porównania wydajności jedno- i wielowątkowej w niektórych systemach. Należy pamiętać, że temperatura i napięcia mają również wpływ na to, jak długo utrzymywana jest częstotliwość turbo.

Być może bardziej fundamentalny aspekt, nad którym masz bezpośrednią kontrolę: upewnij się, że mierzysz właściwą rzecz! Na przykład, jeśli używasz System.nanoTime()do testowania określonego fragmentu kodu, umieść wywołania zadania w miejscach, które mają sens, aby uniknąć mierzenia rzeczy, które Cię nie interesują. Na przykład nie rób:

long startTime = System.nanoTime();
//code here...
System.out.println("Code took "+(System.nanoTime()-startTime)+"nano seconds");

Problem polega na tym, że nie kończy się od razu, kiedy kod się skończy. Zamiast tego spróbuj wykonać następujące czynności:

final long endTime, startTime = System.nanoTime();
//code here...
endTime = System.nanoTime();
System.out.println("Code took "+(endTime-startTime)+"nano seconds");

http://opt.sourceforge.net/ Java Micro Benchmark - zadania kontrolne wymagane do określenia porównawczych charakterystyk wydajności systemu komputerowego na różnych platformach. Może służyć do kierowania decyzjami dotyczącymi optymalizacji i porównywania różnych implementacji Java.