Jak istotne są wyniki i testy DxOMark?

Dla mnie ocena czujnika DxOMark wydaje się nieco dziwna. Niedawno ocenili czujnik Nikona D3300 na taki sam wynik jak Canon 1Dx, co wydaje mi się mało prawdopodobne, aby odzwierciedlić ich osiągi, co również bardzo sceptycznie podniosłem ich system punktacji.

Cenię ich pomiary czujnika, co daje narzędzie porównawcze do porównywania różnych czujników kamery, ale czy są one naprawdę istotne? O ile mi wiadomo, nie ma dokumentacji, w jaki sposób obliczany jest wynik z zakresu dynamiki, czułości kolorów i słabego oświetlenia ISO. Zainteresowanie DxO Labs polega również na sprzedaży ich oprogramowania, a nie bezpośrednio na udostępnianiu naukowych narzędzi do analizy porównawczej, i może być bardzo tendencyjne w stosunku do określonego producenta.

Jak przydatne są wyniki DxOMark i jak można ich używać do porównywania różnych kamer?

Podstawowe „wyniki” DXOMark są całkowicie bezużyteczne. IGNORUJ ICH. Daremnym wysiłkiem jest próba zredukowania złożonej jednostki, takiej jak DSLR, do pojedynczej liczby skalarnej, która mówi ci wszystko o tym. To błąd. Jest zbyt wiele czynników do rozważenia, a które czynniki są najważniejsze dla danego fotografa są różne. Pojedyncza partytura całkowicie pokonuje cel prowadzenia pomiarów.

Jeśli chodzi o inne partytury DXO, takie jak słabe oświetlenie i krajobraz, i tak dalej, weź je ze sporą dawką soli. Ich ogólne wyniki są mocno ważone i często oparte na pochodnych pomiarów, a nie na rzeczywistych pomiarach. Na przykład wynik w układzie poziomym oparty jest na „takcie” DR DRUKU. Problem polega na tym, że DXO tak naprawdę NIE POMIARU DR, ponieważ nie jest oparty na próbkach pobranych z rzeczywistych obrazów o zmniejszonej próbce. Drukuj DR jest prostą matematyczną ekstrapolacją z PRAWDZIWEGO zmierzonego zakresu dynamicznego czujnika.

Dlatego Print DR tak naprawdę nie mówi nic o czujniku. Kiedy DXO mówi, że D800 i D600 mają 14,4 przystanków DR, to znaczy DR DR, który jest ekstrapolowany z rzeczywistego DR sprzętu, czyli 13,2 przystanków. To samo dotyczy czujników Canon. Kiedy DXO mówi ci, że czujnik ma 12 przystanków DR, tak naprawdę tak nie jest. W rzeczywistości większość czujników Canon na poziomie sprzętowym ma około 10,95 zatrzymań DR.

Problem jest jednak gorszy. Ważna jest duża część informacji o punktacji głębi kolorów i czułości kolorów, podobnie jak wiele ocen opartych na ISO. Wagi opierają się na tym, że kamery osiągają określone progi, takie jak SNR przy pewnym ISO wyższym niż określony poziom. Daje to pewną „premię” do wyniku dla tego aparatu. W momencie, gdy w grę wchodzi jakikolwiek punktowy bonus oparty na wadze, twoja zdolność do bezpośredniego porównywania czegokolwiek według dowolnego wyniku całkowicie wychodzi poza okno. Jesteś teraz na nieliniowym polu gry, gdzie szczerze mówiąc nie wiesz, czy tamten aparat Nikon z wynikiem 95 został mocno obciążony w stosunku do tego aparatu Canon z wynikiem 80.

Jeśli chodzi o rzeczywiste pomiary, informacje DXO są jednymi z najlepszych dostępnych. Ich miary SNR, DR ekranu, czułości kolorów itp. Są dość solidne, ponieważ wszystko jest pobierane bezpośrednio z wielu próbek obrazów RAW dla każdego testowanego aparatu. Ich metodologia testowania jest dość rygorystyczna i nic nie wskazuje na to, aby część ich metodologii była wątpliwa. Naukowo, o ile testują i co mierzą, DXO ma solidne praktyki i solidne informacje.

DXO to naprawdę mieszana torba. Mogą mieć solidne praktyki testowania, ale ich ocena, biorąc pod uwagę, że często opiera się ona na matematycznie wyważonych informacjach i fakt, że kilku ich punktom często przyznawane są punkty „bonusowe” po prostu za osiągnięcie określonych progów, całkowicie psuje cały punkt tego, co robi DXO: Aby uzyskać liniowy wynik dla każdej kamery, który umożliwia łatwe porównywanie kamer. Na początku była to błędna koncepcja, punktacja pojedynczej liczby, ale pogorszyli ją o to, jak radzą sobie z faktycznym procesem punktacji.

Ogólny wynik

Ogólnie ignoruję Wynik ogólny, ponieważ jest on zbyt ogólny, jeśli rozumiesz któryś z indywidualnych wyników.

Wynik ogólny jest funkcją szeregu (dość) deterministycznych testów, z których każdy ma charakter informacyjny, a większość (jeśli nie wszystkie) ma wyraźne jednostki miary. Ale następnie generują „wynik”, który łączy te dane z różnymi wymiarami. To trochę jak porównywanie jednego samochodu do drugiego przez dodanie maksymalnego przyspieszenia (m / s / s), wielkości zbiornika paliwa (L), ich maksymalnej prędkości (km / h) i liczby pasażerów, którą mogą przewieźć. Wszyscy będą chcieli ważyć różne elementy w różny sposób, więc ogólny wynik staje się dość nieistotny.

Używaj wyników

Jak mówisz, Canon 1DX uzyskał taki sam ogólny wynik jak Nikon D3300, ale zauważ kilka dużych różnic, nawet tylko na stronie podsumowującej „Wyniki”:

• Wynik „Krajobraz” (inaczej Dynamic Range) wynosi 11,8 vs 12,8 EV (1 stop lepiej na D3300)
• Wynik „Sport” (inaczej ISO ISO przy słabym świetle) wynosi 2786 vs ISO 1385 (1 stop lepiej na 1DX)

Te „ oceny przypadków użycia ” są już o wiele bardziej szczegółowe i sensowne wymiarowo, i umożliwiają znacznie lepsze porównania.

To powiedziawszy, oni też są

1. niekoniecznie łatwe do zrozumienia i
2. niekoniecznie przydatny pomiar dla wszystkich aplikacji

Na przykład przypadek użycia „Sports / Low-Light ISO” to

słabe oświetlenie ISO to najwyższe ustawienie ISO dla aparatu, które pozwala osiągnąć SNR 30 dB przy jednoczesnym zachowaniu dobrego zakresu dynamiki 9 EV i głębi kolorów 18 bitów.

Te wybrane wartości są dowolne, ale pożyteczną częścią jest to, że są one konsekwentnie wykorzystywane do pomiaru wszystkich czujników w ten sam sposób. Oznacza to, że chociaż patrzysz tylko na jedną wartość, możesz przynajmniej porównać jabłka do jabłek. Jak dobrze porównują czujnik A i czujnik B dla jednego określonego punktu danych. Jest to przydatne porównanie, ponieważ wszystkie czujniki mają tendencję do osiągania lepszych wyników przy niższych czułościach ISO i wszystkie mają podobne odchylenia w miarę zwiększania czułości ISO itp. Ale tak naprawdę polegasz na podobnej wydajności we wszystkich czujnikach, aby było to przydatne porównanie ogólnego przeznaczenia.

Pomiary

Jeśli przejdziesz do sekcji „Pomiary” porównania, zobaczysz bardziej przydatne porównania. Dużo danych w wielu różnych warunkach. W tym miejscu możesz (w pewnym sensie) zacząć odpowiadać na pytania typu „O ile mniej szumu ISO uzyskałbym z kamery A w porównaniu z kamerą B przy ISO6400?”. Lub, jeśli już wiesz, że jesteś w porządku z obecną kamerą do ISO 1600, możesz użyć SNR dla swojej kamery przy ISO 1600 jako podstawy do porównania innych kamer (w tym przypadku będzie podobna ilość szumu obrazu w 1DX przy ISO 3200, tak jak w D3300 przy ISO 1600). Cóż, nawet to nie do końca prawda, ponieważ dane SNR dotyczą 18% szarości!

Porównanie wydajności złożonych urządzeń o wielu wymiarach / stopniach swobody jest z natury bardzo trudnym problemem. Często można dość dobrze porównać poszczególne testy, ale problemem jest znalezienie testów uogólniających, które szybko i łatwo przedstawią wydajność względną lub bezwzględną. Myślę, że „Use Case Scores” osiąga to w dużym stopniu, ale tylko dlatego, że technologia większości czujników jest dość podobna, umożliwiając dokonywanie uogólnień takich jak powyższy, że 1DX jest „o jeden przystanek lepszy” dla hałasu w słabym świetle . (Wyobraź sobie, że szum czujnika nie był prostą funkcją ISO dla wszystkich czujników!)

Należy również pamiętać, że jeden czujnik przewyższający inny czujnik niekoniecznie jest przydatny . Wydajność ISO (SNR 18%) aparatów D3300 i 1DX jest w zasadzie nieistotna podczas fotografowania JPEG jasnej sceny w świetle dziennym. Bardziej przydatne będą takie elementy, jak zakres dynamiczny (dla szczegółów cieni / świateł z ostrymi cieniami). I nawet wtedy, robiąc JPEG, nie uzyskasz dużo więcej z większego zakresu dynamicznego (istnieje trochę kompresji tonów, aby utworzyć JPEG, ale oba są w stanie osiągnąć znacznie powyżej 8-bitowego zakresu dynamicznego JPEG). Aby powtórzyć analogię samochodu, to jak porównanie maksymalnej prędkości i przyspieszenia między samochodami dojeżdżającymi do miasta. Nigdy nie przekroczysz granic jakiegokolwiek „szybkiego” samochodu, więc jego rodzaj nie ma znaczenia dla tej aplikacji. Naprawdę potrzebujesz dobrego wyczucia konkretnej aplikacji, jeśli chcesz w znaczący sposób porównać dwa czujniki i właśnie tam chcesz wiedzieć:

1. Rzeczywiste pomiary do porównania (nie tylko ogólne wyniki)
2. Jakie pomiary są przydatne w aplikacji
3. Jaki jest limit użyteczności dla konkretnej miary wydajności

streszczenie

Ogólny wynik jest całkiem bezużyteczne, chyba że jako bardzo ogólne wskazówki do czyjegoś ważenia przypadków użycia (niekoniecznie twoje!) S.

Do przypadków użycia wyniki są znacznie lepsze przewodniki dla kilku tendencji ogólnej wydajności pomiędzy różnymi czujnikami.

Te pomiary pozwalają tworzyć własne porównania, jeśli wiesz, co do porównania i mają zastosowanie w umyśle. Ważne jest również, aby wiedzieć, ile jest „wystarczające” lub kiedy otrzymujesz „malejące zwroty” dla dowolnej aplikacji.

Chyba że naprawdę rozumiesz elektronikę, optykę, fizykę ... liczby bezwzględne są prawdopodobnie całkiem bez znaczenia.

Ufam DXoMark w zakresie, w jakim mogę je rzucić, i nie jestem szczególnie dobry w pchnięciu kulą. Są one interesującym źródłem informacji o warunkach laboratoryjnych i mogą być czasami przydatne podczas porównywania kamer tego samego producenta, ale w testach jest zbyt wiele zmiennych, które odbiegają od warunków rzeczywistych, aby były ogólnie przydatne do porównywania kamer, szczególnie z różnych producenci.

Podobnie jak każda inna strona z recenzjami kamer, rzeczywiste działanie jest zawsze ważniejsze niż warunki laboratoryjne. Jeśli wiesz, jak odczytać informacje i dowiedzieć się, co jest rzeczywiste, a co nie jest istotne, możesz zrobić z DxOMark pewne znaczące dane, ale z mojego doświadczenia wynika, że ​​najlepiej jest spożywać je z dużą ilością soli.