Czy wszystkie modele są bezużyteczne? Czy jakiś dokładny model jest możliwy - czy użyteczny?

To pytanie ropieło mi w głowie od ponad miesiąca. Numer Amstat News z lutego 2015 r. Zawiera artykuł autorstwa profesora Berkeleya Marka van der Laana, który zbeształ ludzi za używanie niedokładnych modeli. Twierdzi, że przy użyciu modeli statystyka jest więc sztuką, a nie nauką. Według niego, zawsze można użyć „dokładnego modelu”, a to, że nie zrobiliśmy tego, przyczynia się do „braku rygorystyczności ... Obawiam się, że nasza reprezentacja w informatyce staje się marginalizowana”.

Zgadzam się, że grozi nam marginalizacja, ale zwykle grożą ci, którzy twierdzą (wydaje się, że brzmi to bardzo podobnie do profesora van der Laana), że nie stosują jakiejś przybliżonej metody, ale której metody są w rzeczywistości znacznie mniej rygorystyczne niż starannie stosowane modele statystyczne - nawet te niewłaściwe.

Myślę, że można śmiało powiedzieć, że prof. Van der Laan jest raczej pogardliwy dla tych, którzy powtarzają często używany przez Boxa cytat: „wszystkie modele są złe, ale niektóre są użyteczne”. Zasadniczo, gdy go czytam, mówi, że wszystkie modele są złe i wszystkie są bezużyteczne. Kim więc mam się nie zgodzić z profesorem Berkeleya? Z drugiej strony, kim on jest tak kawalersko odrzucający poglądy jednego z prawdziwych gigantów w naszej dziedzinie?

Opracowując, dr van der Laan stwierdza, że ​​„kompletnym nonsensem jest twierdzenie, że wszystkie modele są błędne ... Na przykład model statystyczny, który nie przyjmuje żadnych założeń, jest zawsze prawdziwy”. Kontynuuje: „Ale często możemy zrobić znacznie więcej: możemy wiedzieć, że dane są wynikiem niezależnych identycznych eksperymentów”. Nie rozumiem, skąd można to wiedzieć, z wyjątkiem bardzo wąskich prób losowych lub kontrolowanych ustawień eksperymentalnych. Autor wskazuje na swoją pracę w ukierunkowanym uczeniu się z maksymalnym prawdopodobieństwem i ukierunkowanym uczeniu się opartym na minimalnych stratach, który „integruje najnowszy stan wiedzy w uczeniu maszynowym / szacowaniu adaptacyjnym danych, wszystkie niewiarygodne postępy w wnioskowaniu przyczynowym, danych ocenzurowanych, wydajności i empiryczności teoria procesu, a jednocześnie formalne wnioskowanie statystyczne ”.$n$

Są też niektóre stwierdzenia, z którymi się zgadzam. Mówi, że musimy poważnie potraktować naszą pracę, naszą rolę statystyczną i naszych współpracowników naukowych. Usłysz słyszeć! Z pewnością jest to zła wiadomość, gdy ludzie rutynowo stosują model regresji logistycznej lub cokolwiek innego, bez dokładnego zastanowienia się, czy jest wystarczające, aby odpowiedzieć na pytanie naukowe, czy pasuje do danych. I widzę wiele takich nadużyć w pytaniach zamieszczonych na tym forum. Ale widzę także skuteczne i cenne zastosowania niedokładnych modeli, nawet parametrycznych. I wbrew temu, co mówi, rzadko nudzę się na śmierć innym modelem regresji logistycznej. To chyba moja naiwność.

Oto moje pytania:

1. Jakich użytecznych wniosków statystycznych można dokonać przy użyciu modelu, który w ogóle nie przyjmuje żadnych założeń?
2. Czy istnieje studium przypadku zawierające ważne, rzeczywiste dane dotyczące wykorzystania docelowego maksymalnego prawdopodobieństwa? Czy metody te są powszechnie stosowane i akceptowane?
3. Czy wszystkie niedokładne modele są rzeczywiście bezużyteczne?
4. Czy można wiedzieć, że masz dokładny model inny niż w trywialnych przypadkach?
5. Jeśli jest to zbyt oparte na opiniach, a zatem nie na temat, to gdzie można to omówić? Ponieważ artykuł dr van der Laana zdecydowanie wymaga dyskusji.

Cytowany artykuł wydaje się opierać na obawach, że statystycy „nie będą nieodłączną częścią zespołu naukowego, a naukowcy naturalnie będą mieli wątpliwości co do zastosowanych metod” oraz że „współpracownicy będą postrzegać nas jako techników, którymi mogą sterować, aby uzyskać opublikowano ich wyniki naukowe ”. Moje komentarze do pytań postawionych przez @rvl pochodzą z perspektywy niestatystycznego naukowca biologa, który był zmuszony zmagać się z coraz bardziej skomplikowanymi zagadnieniami statystycznymi, gdy w ciągu ostatnich kilku lat przeszedłem z badań laboratoryjnych na badania translacyjne / kliniczne. Odpowiedzi na pytanie 5 wyraźnie udzielają liczne odpowiedzi na tej stronie; Pójdę stamtąd w odwrotnej kolejności.

4) Naprawdę nie ma znaczenia, czy istnieje „dokładny model”, ponieważ nawet jeśli tak, prawdopodobnie nie będzie mnie stać na przeprowadzenie badania. Rozważ tę kwestię w kontekście dyskusji: czy naprawdę musimy uwzględnić „wszystkie odpowiednie predyktory?”. Nawet jeśli potrafimy zidentyfikować „wszystkie odpowiednie predyktory”, nadal będzie problem gromadzenia wystarczającej ilości danych, aby zapewnić stopnie swobody włączenia wszystkie one niezawodnie wpisują się w model. Jest to wystarczająco trudne w kontrolowanych badaniach eksperymentalnych, nie mówiąc już o badaniach retrospektywnych lub populacyjnych. Może w niektórych typach „Big Data” to mniejszy problem, ale dotyczy mnie i moich kolegów. Zawsze będzie trzeba „być mądrym”, ponieważ @Aksakal udzieliło odpowiedzi na tej stronie.

W uczciwości wobec prof. Van der Laana nie używa słowa „dokładny” w cytowanym artykule, przynajmniej w wersji obecnie dostępnej online z linku . Mówi o „realistycznych” modelach. To ważne rozróżnienie.

Z drugiej strony prof. Van der Laan narzeka, że ​​„statystyka jest teraz sztuką, a nie nauką”, co z jego strony jest więcej niż niesprawiedliwe. Zastanów się, w jaki sposób proponuje współpracę ze współpracownikami:

... musimy poważnie potraktować dane, naszą tożsamość jako statystyki i naszych współpracowników naukowych. Musimy dowiedzieć się jak najwięcej o tym, jak dane zostały wygenerowane. Po opracowaniu realistycznego modelu statystycznego musimy wyodrębnić od naszych współpracowników, które dane szacunkowe najlepiej odpowiadają odpowiedzi na ich interesujące pytanie naukowe. To dużo pracy. To jest trudne. Wymaga rozsądnego zrozumienia teorii statystycznej. To godne przedsięwzięcie akademickie!

Zastosowanie tych zasad naukowych do rzeczywistych problemów wydaje się wymagać sporo „sztuki”, podobnie jak w przypadku pracy w każdym przedsiębiorstwie naukowym. Znałem kilku bardzo udanych naukowców, wielu innych, którzy dobrze sobie radzili, i pewne niepowodzenia. Z mojego doświadczenia wynika, że ​​różnica polega na „sztuce” realizacji celów naukowych. Rezultatem może być nauka, ale proces ten jest czymś więcej.

3) Znowu część problemu ma charakter terminologiczny; istnieje duża różnica między modelem „dokładnym” a „realistycznym”, którego szuka prof. van der Laan. Twierdzi, że wiele standardowych modeli statystycznych jest wystarczająco nierealistycznych, aby dać „niewiarygodne” wyniki. W szczególności: „Estymatorów estymatora określonych w uczciwym modelu statystycznym nie można rozsądnie oszacować na podstawie modeli parametrycznych”. To są kwestie do testowania, a nie opinia.

Jego własna praca wyraźnie uznaje, że dokładne modele nie zawsze są możliwe. Rozważ ten manuskrypt na temat docelowych estymatorów maksymalnego prawdopodobieństwa (TMLE) w kontekście brakujących zmiennych wyniku. Opiera się na założeniu, że losowo brakuje wyników, co może nigdy nie być możliwe do przetestowania w praktyce: „... zakładamy, że nie ma niezauważonych czynników zakłócających związek między brakiem ... a wynikiem”. To kolejny przykład trudności w uwzględnieniu „wszystkich istotnych predyktorów”. Siła TMLE polega jednak na tym, że wydaje się, że pomaga to ocenić „założenie pozytywności” odpowiedniego wsparcia w danych do oszacowania parametru docelowego w tym kontekście. Celem jest zbliżenie się jak najbardziej do realistycznego modelu danych.

2) TMLE zostało wcześniej omówione w Cross Validated . Nie jestem świadomy powszechnego wykorzystania rzeczywistych danych. Google Scholar pokazał dziś 258 cytowań z tego, co wydaje się być początkowym raportem , ale na pierwszy rzut oka wydawało się, że nie ma go w dużych rzeczywistych zbiorach danych. Artykuł Journal of Statistics Software na temat powiązanego pakietu R pokazuje dziś tylko 27 cytowań Google Scholar. Nie należy tego jednak traktować jako dowodu na wartość TMLE. Skoncentrowanie się na uzyskaniu wiarygodnych obiektywnych oszacowań rzeczywistego „oszacowania” będącego przedmiotem zainteresowania, często stanowiącym problem w przypadku oszacowań wtyczek pochodzących ze standardowych modeli statystycznych, wydaje się potencjalnie cenne.

1) Stwierdzenie: „model statystyczny, który nie przyjmuje żadnych założeń, jest zawsze prawdziwy” wydaje się zamierzone jako człowiek słomy, tautologia. Dane są danymi. Zakładam, że istnieją prawa wszechświata, które pozostają spójne z dnia na dzień. Metoda TMLE prawdopodobnie zawiera założenia dotyczące wypukłości w przestrzeni wyszukiwania, a jak wspomniano powyżej, jej zastosowanie w określonym kontekście może wymagać dodatkowych założeń.

Nawet prof. Van der Laan zgodziłby się, że pewne założenia są konieczne. Mam wrażenie, że chciałby zminimalizować liczbę założeń i uniknąć tych, które są nierealne. Kluczowe pytanie brzmi, czy to naprawdę wymaga rezygnacji z modeli parametrycznych, jak się zdaje.

Może nie trafiłem w sedno, ale myślę, że musisz się trochę wycofać.

Myślę, że jego celem jest nadużywanie łatwo dostępnych narzędzi bez dalszej wiedzy. Odnosi się to również do prostego testu t: po prostu nakarm algorytm swoimi danymi, otrzymując p <0,05 i myśląc, że twoja teza jest prawdziwa. Całkowicie źle. Musisz oczywiście wiedzieć więcej o swoich danych.

Cofając się jeszcze bardziej: Nie ma to jak dokładny model ( tutaj fizyk ). Ale niektórzy zgadzają się bardzo dobrze z naszymi pomiarami. Jedyną dokładną rzeczą jest matematyka. Co nie ma nic wspólnego z rzeczywistością ani jej modelami . Cała reszta (i każdy model rzeczywistości) jest „zła” (jak często cytowano).

Ale co oznacza „zły” i użyteczny? Oceń sam:

Wszystkie nasze obecne zaawansowane technologie (komputery, rakiety, radioaktywność itp.) Oparte są na tych błędnych modelach. Może nawet obliczone na podstawie „złych” symulacji z „złymi” modelami.
-> Skoncentruj się bardziej na „użytecznym” zamiast „złym”;)

Bardziej szczegółowo na twoje pytania:

1. Przepraszam, nie wiem!
2. Tak. Jeden przykład: w fizyce cząstek chcesz wykryć pewne cząstki (np. Elektrony, protony itp.). Każda cząstka pozostawia w detektorze ślad (i dlatego dane), ale zmienia się nawet dla tej samej cząstki (z natury). Obecnie większość ludzi korzysta z uczenia maszynowego, aby osiągnąć ten cel (było to ogromne uproszczenie, ale tak w zasadzie tak jest), a wydajność wzrosła o 20–50% w porównaniu do ręcznego wykonywania statystyk .
3. Nikt tak naprawdę nie twierdził! Nie wyciągaj złych wniosków! (a: wszystkie modele są niedokładne, a b: niektóre są przydatne. Nie myl rzeczy)
4. Nie ma nic takiego jak dokładny model ( z wyjątkiem matematyki, ale tak naprawdę nie w statystykach, ponieważ posiadanie punktów dokładnie na linii prostej i „dopasowanie” linii przez nią może być dokładne ... ale to nie jest interesujący szczególny przypadek, który nigdy się nie zdarza) .
5. Nie wiem :) Ale IMHO postrzegam to bardziej jako „tylko dlatego, że każde dziecko może z niego korzystać, nie każdy powinien” i nie nadużywaj go na ślepo.

W ekonie wiele mówi się o zrozumieniu „procesu generowania danych”. Nie jestem pewien, co dokładnie oznacza „dokładny” model, ale w ekonie może być taki sam, jak „poprawnie określony” model.

Z pewnością chcesz wiedzieć jak najwięcej o procesie generowania danych przed próbą modelu, prawda? Myślę, że trudność wynika z: a) możemy nie mieć pojęcia o prawdziwym MZD ib) nawet jeśli znamy prawdziwy MZD, modelowanie i szacowanie może być trudne (z wielu powodów).

Przyjmujesz więc założenia, aby uprościć sprawy i zmniejszyć wymagania dotyczące szacowania. Czy kiedykolwiek wiesz, czy twoje założenia są prawidłowe? Możesz zdobyć dowody na ich korzyść, ale w niektórych przypadkach IMO trudno jest być naprawdę pewnym.

Muszę to wszystko przefiltrować zarówno pod względem ustalonej teorii, jak i praktyczności. Jeśli przyjmiesz założenie spójne z teorią i założenie to zapewnia lepszą wydajność szacunkową (wydajność, dokładność, spójność, cokolwiek), to nie widzę powodu, aby tego unikać, nawet jeśli czyni to model „niedokładnym”.

Szczerze mówiąc, myślę, że ten artykuł ma zachęcić tych, którzy pracują z danymi, do bardziej intensywnego myślenia o całym procesie modelowania. Oczywiste jest, że van der Laan przyjmuje założenia w swojej pracy . W tym przykładzie van der Laan wydaje się odrzucać wszelkie obawy dotyczące dokładnego modelu i zamiast tego stosuje szereg procedur w celu zmaksymalizowania wydajności. To sprawia, że ​​jestem bardziej pewny, że podniósł cytat Boxa z zamiarem zapobiegania wykorzystywaniu go przez ludzi jako ucieczki od trudnej pracy polegającej na zrozumieniu problemu.

Spójrzmy prawdzie w oczy, świat jest pełen niewłaściwego wykorzystywania i nadużywania modeli statystycznych. Ludzie na ślepo stosują wszystko, co umieją, a co gorsza, inni często interpretują wyniki w najbardziej pożądany sposób. Ten artykuł jest dobrym przypomnieniem, aby zachować ostrożność, ale nie sądzę, że powinniśmy podchodzić do niego do końca.

Implikacje powyższego dla twoich pytań:

1. Zgadzam się z innymi w tym poście, którzy zdefiniowali model jako zbiór założeń. Przy tej definicji model bez założeń nie jest tak naprawdę modelem. Nawet analiza danych eksploracyjnych (tzn. Bez modelu) wymaga założeń. Na przykład większość ludzi zakłada, że ​​dane są mierzone poprawnie.
2. Sam nie wiem o TMLE, ale w ekonomii istnieje wiele artykułów, które wykorzystują tę samą filozofię leżącą u podstaw wnioskowania o skutkach przyczynowych na nieobserwowanej alternatywnej próbie. W tych przypadkach jednak leczenie nie jest niezależne od innych zmiennych w modelu (w przeciwieństwie do TMLE), dlatego ekonomiści szeroko korzystają z modelowania. Istnieje kilka studiów przypadku modeli konstrukcyjnych, takich jak ten, w którym autorzy przekonali firmę do wdrożenia swojego modelu i znaleźli dobre wyniki.
3. Myślę, że wszystkie modele są niedokładne, ale znowu ten termin jest nieco niewyraźny. IMO, to jest sedno cytatu Boxa. Powtórzę moje rozumienie Boxa w ten sposób: „żaden model nie jest w stanie uchwycić dokładnej istoty rzeczywistości, ale niektóre modele przechwytują zmienną będącą przedmiotem zainteresowania, więc w tym sensie możesz je wykorzystać”.
4. Rozwiązałem to powyżej. Krótko mówiąc, nie sądzę.
5. Nie jestem pewny. Podoba mi się tutaj.

Jeśli chodzi o punkt 3, odpowiedź brzmi oczywiście nie. Prawie każde ludzkie przedsięwzięcie opiera się w pewnym momencie na uproszczonym modelu: gotowanie, budowanie, relacje interpersonalne wymagają od ludzi działania na podstawie pewnego rodzaju danych + założeń. Nikt nigdy nie skonstruował modelu, z którego nie zamierzał korzystać. Twierdzenie inaczej jest bezczynną pedanterią.

O wiele bardziej interesujące i pouczające jest i przydatne pytanie, kiedy niedokładne modele nie są przydatne, dlaczego zawodzą w ich przydatności i co dzieje się, gdy polegamy na modelach, które okazują się nieużyteczne. Każdy badacz, czy to w środowisku akademickim, czy przemysłowym, musi zadawać to pytanie sprytnie i często.

Nie sądzę, aby na pytanie można było udzielić ogólnej odpowiedzi, ale zasady propagacji błędów poinformują o odpowiedzi. Niedokładne modele rozpadają się, gdy przewidywane zachowanie nie odzwierciedla zachowania w świecie rzeczywistym. Zrozumienie, w jaki sposób błędy rozprzestrzeniają się w systemie, może pomóc w zrozumieniu, ile precyzji jest konieczne w modelowaniu systemu.

Na przykład sztywna kula nie jest zwykle złym modelem dla baseballu. Ale kiedy projektujesz rękawicę łapacza, ten model Cię zawiedzie i doprowadzi Cię do zaprojektowania niewłaściwej rzeczy. Twoje uproszczone założenia dotyczące fizyki baseballu rozprzestrzeniają się w systemie baseball-mitenki i prowadzą do wyciągania błędnych wniosków.

1) Jakich użytecznych wniosków statystycznych można dokonać za pomocą modelu, który w ogóle nie przyjmuje żadnych założeń?

Model jest z definicji uogólnieniem tego, co obserwujesz, które może zostać uchwycone przez pewne czynniki przyczynowe, które z kolei mogą wyjaśnić i oszacować obserwowane zdarzenie. Biorąc pod uwagę, że wszystkie te algorytmy generalizacji mają pewne podstawowe założenia. Nie jestem pewien, co pozostało z modelu, jeśli nie masz żadnych założeń. Myślę, że masz oryginalne dane i żaden model.

2) Czy istnieje studium przypadku zawierające ważne, rzeczywiste dane dotyczące wykorzystania ukierunkowanego maksymalnego prawdopodobieństwa? Czy metody te są powszechnie stosowane i akceptowane?

Nie wiem Przez cały czas wykorzystywane jest maksymalne prawdopodobieństwo. Modele Logit są oparte na tych oraz wielu innych modelach. Nie różnią się one tak bardzo od standardowego OLS, w którym skupiasz się na zmniejszeniu sumy kwadratu reszt. Nie jestem pewien, jakie jest docelowe maksymalne prawdopodobieństwo. I czym różni się od tradycyjnego maksymalnego prawdopodobieństwa.

3) Czy wszystkie niedokładne modele są rzeczywiście bezużyteczne?

Absolutnie nie. Niedokładne modele mogą być bardzo przydatne. Po pierwsze, przyczyniają się do lepszego zrozumienia lub wyjaśnienia zjawiska. To powinno na coś liczyć. Po drugie, mogą dostarczyć oszacowanie spadku i prognozę z odpowiednim przedziałem ufności, aby uchwycić niepewność związaną z oszacowaniem. To może dostarczyć wielu informacji na temat tego, czego się uczysz.

Kwestia „niedokładności” podnosi także kwestię napięcia między parsimony a nadmiernym nadmiernym obciążeniem. Możesz mieć prosty model z 5 zmiennymi, który jest „niedokładny”, ale wykonuje całkiem dobrą robotę, przechwytując i wyjaśniając ogólny trend zmiennej zależnej. Możesz mieć bardziej złożony model z 10 zmiennymi, który jest „bardziej dokładny” niż pierwszy (wyższy skorygowany kwadrat R, niższy błąd standardowy itp.). Jednak ten drugi, bardziej złożony model może się naprawdę zawiesić podczas testowania go za pomocą próbki Hold Out. I w takim przypadku być może model „niedokładny” działa znacznie lepiej w próbce Hold Out. Dzieje się tak dosłownie cały czas w ekonometrii i podejrzewam, że w wielu innych naukach społecznych. Uważaj na „dokładne” modele.

4) Czy można wiedzieć, że masz dokładny model inny niż w trywialnych przypadkach?

Nie można wiedzieć, że masz dokładny model. Ale można wiedzieć, że masz całkiem niezły model. Miary kryteriów informacyjnych (AIC, BIC, SIC) mogą dostarczyć wielu informacji pozwalających na porównanie i porównanie względnej wydajności różnych modeli. Test LINK również może w tym pomóc.

5) Jeśli jest to zbyt oparte na opiniach, a zatem nie na temat, gdzie można to omówić? Ponieważ artykuł dr van der Laana zdecydowanie wymaga dyskusji.

Uważam, że jest to odpowiednie forum do dyskusji na ten temat, jak gdziekolwiek indziej. Jest to dość interesująca kwestia dla większości z nas.

(Nie widzę w artykule wyrażenia „dokładny model” (chociaż cytowane powyżej))

1) Jakich użytecznych wniosków statystycznych można dokonać za pomocą modelu, który w ogóle nie przyjmuje żadnych założeń?

Musisz gdzieś zacząć. Jeśli to wszystko, co masz (nic), może to być punkt wyjścia.

2) Czy istnieje studium przypadku zawierające ważne, rzeczywiste dane dotyczące wykorzystania ukierunkowanego maksymalnego prawdopodobieństwa? Czy metody te są powszechnie stosowane i akceptowane?

Aby odpowiedzieć na drugie pytanie, celowane maksymalne prawdopodobieństwo pojawia się w 93/1143281 (~ 0,008%) artykułów na arxiv.org. Zatem nie jest to prawdopodobnie dobre oszacowanie (bez założeń) do tego.

3) Czy wszystkie niedokładne modele są rzeczywiście bezużyteczne?

Nie. Czasami zależy ci tylko na jednym aspekcie modelu. Ten aspekt może być bardzo dobry, a reszta bardzo niedokładna.

4) Czy można wiedzieć, że masz dokładny model inny niż w trywialnych przypadkach?

Najlepszym modelem jest model, który najlepiej odpowiada na Twoje pytanie. Może to oznaczać pominięcie czegoś. To, czego możesz najlepiej uniknąć, to naruszenie założeń.

5) Szczęśliwa godzina . A napoje są tańsze do uruchomienia!

Uważam, że użycie słowa „dokładny” jest trochę niepokojące. To nie jest bardzo statystyczna rozmowa. Nieścisłość? Zmiana? Dziękuję Bg! Dlatego wszyscy tu jesteśmy. Myślę, że wyrażenie „Wszystkie modele są błędne ...” jest w porządku, ale tylko w odpowiednim towarzystwie. Statystycy rozumieją, co to znaczy, ale niewielu to robi.

Ten artykuł wydaje mi się szczery, ale polityczny, szczera polemika . Jako taki zawiera wiele namiętnych fragmentów, które są naukowo bezsensowne, ale mogą jednak skutecznie wywoływać użyteczne rozmowy i rozważania na ważne tematy.

Jest tu wiele dobrych odpowiedzi, więc pozwólcie mi zacytować kilka wierszy z tego artykułu, aby pokazać, że prof. Laan z pewnością nie używa żadnego „dokładnego modelu” w swojej pracy (a swoją drogą, kto mówi, że „dokładny” model ”czy koncepcja jest równoważna z faktycznym mechanizmem generowania danych?)

Cytaty (pogrub moje podkreślenie)

„Po opracowaniu realistycznego modelu statystycznego musimy wydobyć od naszych współpracowników to, co według szacunków i najlepiej odpowiada na ich interesujące pytanie naukowe ”.

Komentarz: „realistyczny” jest tak samo usunięty z „dokładnego”, jak Mars jest z Ziemi. Obaj okrążają Słońce, więc dla niektórych celów nie ma znaczenia, którą planetę wybierzesz. Dla innych celów ma to znaczenie. Również „najlepszy” jest pojęciem względnym. „Dokładne” nie jest.

„Estymatorów estymatora określonych w uczciwym modelu statystycznym nie można rozsądnie oszacować na podstawie modeli parametrycznych ...

Komentarz: Uczciwość jest rzeczywiście najlepszą polityką, ale z pewnością nie ma gwarancji, że będzie „dokładna”. Również „rozsądne oszacowanie” wydaje się być bardzo rozcieńczonym wynikiem, jeśli stosuje się „dokładny model”.

„ W odpowiedzi na konieczność rozwiązania tych trudnych problemów oszacowania najlepiej jak potrafiliśmy , opracowaliśmy ogólne podejście statystyczne ... ”

Komentarz: OK. „Robimy, co możemy”. Jak prawie wszyscy myślą o sobie. Ale „najlepiej jak potrafimy” nie jest „dokładne”.

Podejdę do tego z alternatywnego kierunku filozofii, w świetle naprawdę użytecznych zasad zarządzania niepewnością omówionych w książkach George'a F. Klira na temat zbiorów rozmytych. Nie mogę podać dokładności van der Laana, ale mogę przedstawić nieco wyczerpujący argument, dlaczego jego cel jest logicznie niemożliwy; to będzie wymagało długiej dyskusji odnoszącej się do innych dziedzin, więc proszę o wyrozumiałość.

Klir i jego współautorzy dzielą niepewność na kilka podtypów, takich jak niespecyficzność (tj. Gdy masz nieznany zestaw alternatyw, którymi zajmujesz się za pomocą środków takich jak funkcja Hartleya); niedokładność definicji (tj. „zamglenie” modelowane i kwantyfikowane w zestawach rozmytych); spory lub niezgody w dowodach (poruszone w teorii dowodów Dempstera-Shafera); plus teoria prawdopodobieństwa, teoria możliwości i niepewność pomiaru, gdzie celem jest posiadanie odpowiedniego zakresu, aby uchwycić odpowiednie dowody, przy jednoczesnym zminimalizowaniu błędów. Patrzę na cały zestaw technik statystycznych jako alternatywny sposób dzielenia niepewności na różne sposoby, podobnie jak foremka do ciastek; przedziały ufności i wartości p kwarantannie niepewność w jeden sposób, podczas gdy miary takie jak Entropia Shannona zmniejszają ją z innej strony. Co potrafią t zrobić to jednak całkowicie go wyeliminować. Aby osiągnąć „dokładny model”, który zdaje się opisywać van der Laan, musielibyśmy zredukować wszystkie rodzaje niepewności do zera, aby nie było już więcej do podziału. Prawdziwie „dokładny” model zawsze miałby wartości prawdopodobieństwa i prawdopodobieństwa 1, niespecyficzność 0 i brak niepewności w definicjach terminów, zakresów wartości lub skal pomiarowych. W alternatywnych źródłach dowodów nie byłoby niezgody. Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje: w rodzaju, który zdaje się opisywać van der Laan, musielibyśmy zredukować wszystkie rodzaje niepewności do zera, aby nie było już więcej do podziału. Prawdziwie „dokładny” model zawsze miałby wartości prawdopodobieństwa i prawdopodobieństwa 1, niespecyficzność 0 i brak niepewności w definicjach terminów, zakresów wartości lub skal pomiarowych. W alternatywnych źródłach dowodów nie byłoby niezgody. Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje: w rodzaju, który zdaje się opisywać van der Laan, musielibyśmy zredukować wszystkie rodzaje niepewności do zera, aby nie było już więcej do podziału. Prawdziwie „dokładny” model zawsze miałby wartości prawdopodobieństwa i prawdopodobieństwa 1, niespecyficzność 0 i brak niepewności w definicjach terminów, zakresów wartości lub skal pomiarowych. W alternatywnych źródłach dowodów nie byłoby niezgody. Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje: Prawdziwie „dokładny” model zawsze miałby wartości prawdopodobieństwa i prawdopodobieństwa 1, niespecyficzność 0 i brak niepewności w definicjach terminów, zakresów wartości lub skal pomiarowych. W alternatywnych źródłach dowodów nie byłoby niezgody. Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje: Prawdziwie „dokładny” model zawsze miałby wartości prawdopodobieństwa i prawdopodobieństwa 1, niespecyficzność 0 i brak niepewności w definicjach terminów, zakresów wartości lub skal pomiarowych. W alternatywnych źródłach dowodów nie byłoby niezgody. Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje: Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje: Prognozy wykonane przez taki model zawsze byłyby w 100 procentach dokładne; modele predykcyjne zasadniczo dzielą ich niepewność na przyszłość, ale nie pozostało by ich dłużej odkładać. Perspektywa niepewności ma pewne ważne implikacje:

• To wysokie zamówienie jest nie tylko fizycznie niewiarygodne, ale w rzeczywistości logicznie niemożliwe. Oczywiście nie możemy osiągnąć idealnie ciągłych skal pomiarowych o nieskończenie małych stopniach, gromadząc skończone obserwacje za pomocą omylnego, fizycznego sprzętu naukowego; zawsze będzie pewna niepewność co do skali pomiaru. Podobnie zawsze będą pewne niejasności wokół definicji, które wykorzystujemy w naszych eksperymentach. Przyszłość jest również z natury niepewna, więc rzekomo doskonałe prognozy naszych „dokładnych” modeli będą musiały być traktowane jako niedoskonałe, dopóki nie zostanie udowodnione inaczej - co zajmie wieczność.

• Co gorsza, żadna technika pomiaru nie jest w 100% wolna od błędów w pewnym momencie procesu, ani nie może być wystarczająco kompleksowa, aby uwzględnić wszystkie potencjalnie sprzeczne informacje we wszechświecie. Co więcej, eliminacji możliwych mylących zmiennych i całkowitej warunkowej niezależności nie można dokładnie udowodnić bez zbadania wszystkich innych procesów fizycznych, które wpływają na ten, który badamy, a także tych, które wpływają na te wtórne procesy i tak dalej.

• Dokładność jest możliwa tylko w czystej logice i jej podzbiorze, matematyce, właśnie dlatego, że abstrakcje są oddzielone od rzeczywistych problemów, takich jak te źródła niepewności. Na przykład za pomocą czystej logiki dedukcyjnej możemy udowodnić, że 2 + 2 = 4 i każda inna odpowiedź jest w 100% niepoprawna. Możemy również dokonywać idealnie dokładnych prognoz, które zawsze będą równe 4. Tego rodzaju precyzja jest możliwa tylko w statystykach, gdy mamy do czynienia z abstrakcjami. Statystyka jest niezwykle przydatna, gdy jest stosowana w prawdziwym świecie, ale to, co czyni ją użyteczną, wstrzykuje przynajmniej pewien stopień nieuniknionej niepewności, przez co czyni ją niedokładną. To nieunikniony dylemat.

• Ponadto Peter Chu podnosi dodatkowe ograniczenia w sekcji komentarzy w artykule rvl, do którego jest link. Mówi to lepiej niż ja:

„Ta powierzchnia rozwiązania problemów trudnych dla NP jest zwykle pełna wielu lokalnych optymów, a w większości przypadków rozwiązanie problemu jest niewykonalne obliczeniowo, tj. Znalezienie globalnego optymalnego rozwiązania w ogóle. Dlatego każdy modelarz stosuje pewne (heurystyczne) techniki modelowania, co najwyżej, aby znaleźć odpowiednie lokalne optymalne rozwiązania w rozległej przestrzeni rozwiązań tej złożonej funkcji celu ”.

• Wszystko to oznacza, że ​​sama nauka nie może być całkowicie dokładna, chociaż van der Laan wydaje się mówić o tym w ten sposób w swoim artykule; metoda naukowa jako abstrakcyjny proces jest precyzyjnie zdefiniowana, ale niemożność uniwersalnego i idealnego dokładnego pomiaru oznacza, że ​​nie jest w stanie stworzyć dokładnych modeli pozbawionych niepewności. Nauka jest doskonałym narzędziem, ale ma ograniczenia.

• Jest coraz gorzej stamtąd: Nawet gdyby było możliwe dokładnie mierzyć wszystkich sił działających na każdy kwark składowego i gluonu we wszechświecie, niektóre niepewność będzie nadal pozostają. Po pierwsze, wszelkie przewidywania dokonane przez taki kompletny model byłyby nadal niepewne ze względu na istnienie wielu rozwiązań dla równań kwintycznych i wyższych wielomianów. Po drugie, nie możemy być całkowicie pewni, że skrajny sceptycyzm ujęty w klasycznym pytaniu „może to wszystko sen lub halucynacja” nie jest odzwierciedleniem rzeczywistości - w którym to przypadku wszystkie nasze modele są rzeczywiście błędne w najgorszy możliwy sposób . Jest to w zasadzie równoważne bardziej ekstremalnej ontologicznej interpretacji oryginalnych epistemologicznych sformułowań filozofii, takich jak fenomenalizm, idealizm i solipsyzm.

• W swojej klasycznej ortodoksji z 1909 rGK Chesterton zauważył, że skrajne wersje tych filozofii można rzeczywiście osądzić, ale na podstawie tego, czy wprowadzają wierzących w instytucje mentalne; na przykład solipsyzm ontologiczny jest tak naprawdę markerem schizofrenii, podobnie jak niektórzy z jego kuzynów. Najlepsze, co możemy osiągnąć na tym świecie, to wyeliminować uzasadnione wątpliwości; nierozsądne wątpliwości tego niepokojącego rodzaju nie mogą zostać całkowicie usunięte, nawet w hipotetycznym świecie dokładnych modeli, wyczerpujących i bezbłędnych pomiarów. Jeśli van der Laan chce uwolnić nas od nieuzasadnionych wątpliwości, bawi się ogniem. Chwytając się doskonałości, skończone dobro, które możemy uczynić, prześlizguje się przez nasze palce; jesteśmy stworzeniami skończonymi istniejącymi w nieskończonym świecie, co oznacza, że ​​rodzaj pełnej i absolutnie pewnej wiedzy, o której dowodzi van der Laan, jest na zawsze poza naszym zasięgiem. Jedynym sposobem na osiągnięcie tego rodzaju pewności jest wycofanie się z tego świata do węższych granic całkowicie abstrakcyjnego świata, który nazywamy „czystą matematyką”. Nie oznacza to jednak, że wycofanie się do czystej matematyki jest rozwiązaniem na wyeliminowanie niepewności. Takie było zasadniczo podejście następców Ludwiga Wittgensteina (1889–1951), który odsączył swoją filozofię pozytywnego logiki od wszelkiego zdrowego rozsądku, odrzucając całkowicie metafizykę i wycofując się całkowicie w czystą matematykę i scjentyzm, a także ekstremalny sceptycyzm, nadmierna specjalizacja i nadmierne podkreślanie dokładności nad użytecznością. W ten sposób zniszczyli dyscyplinę filozofii, rozpuszczając ją w bagno nękania definicji i pępka, czyniąc ją nieistotną dla reszty środowiska akademickiego. Zasadniczo zabiło to całą dyscyplinę, która wciąż była na czele debaty akademickiej aż do początku XX wieku, do tego stopnia, że ​​wciąż przyciągała uwagę mediów, a niektórzy z jej liderów byli znani z nazwiska. Uchwycili się idealnego, dopracowanego wyjaśnienia świata, który przeleciał im przez palce - tak jak to zrobili pacjenci umysłowi, o których mówił GKC. Uślizgnie mu się również uścisk van der Laana, który już obalił swój punkt widzenia, jak omówiono poniżej. Pogoń za zbyt dokładnymi modelami jest nie tylko niemożliwe; może być niebezpieczny, jeśli doprowadzi go do samobójczej obsesji. Pogoń za tego rodzaju czystością rzadko kończy się dobrze; często jest tak samo samobójcze jak bakterie, które szaleńczo szorują ręce i kończą się infekcjami. To' przypomina Ikara próbującego ukraść ogień od Słońca: jako istoty skończone możemy mieć tylko skończone zrozumienie rzeczy. Jak mówi Chesterton w Ortodoksji: „To logik stara się wbić niebiosa do jego głowy. I to jego głowa pęka”.

W świetle powyższego pozwól, że zajmę się niektórymi szczegółowymi pytaniami wymienionymi przez rvl:

1) Model bez żadnych założeń jest albo a) nieświadomy własnych założeń, albo b) musi być całkowicie oddzielony od rozważań, które wprowadzają niepewność, takich jak błędy pomiaru, uwzględniające każdą możliwą zmienną mylącą, idealnie ciągłe skale pomiarowe i lubić.

2) Nadal jestem nowicjuszem, jeśli chodzi o szacowanie maksymalnego prawdopodobieństwa (MLE), więc nie mogę komentować mechaniki prawdopodobieństwa celu, z wyjątkiem wskazania oczywistego: prawdopodobieństwo jest właśnie tym, prawdopodobieństwem, a nie pewnością . Wyprowadzenie dokładnego modelu wymaga całkowitego wyeliminowania niepewności, co logika probabilistyczna może rzadko, jeśli w ogóle, zrobić.

3) Oczywiście, że nie. Ponieważ wszystkie modele zachowują pewną niepewność i dlatego są niedokładne (z wyjątkiem przypadków czystej matematyki, w oderwaniu od rzeczywistych pomiarów fizycznych), rasa ludzka nie byłaby w stanie dokonać żadnego postępu technicznego do tej pory - a nawet jakiegokolwiek innego postępu w wszystko. Gdyby niedokładne modele były zawsze bezużyteczne, prowadzilibyśmy tę rozmowę w jaskini zamiast na tym niesamowitym wyczynie technologii zwanym Internetem, a wszystko to było możliwe dzięki niedokładnemu modelowaniu.

Jak na ironię, własny model van der Laana jest podstawowym przykładem niedokładności. W swoim artykule naszkicował model tego, jak należy zarządzać dziedziną statystyki, mając na względzie dokładne modele; nie ma jeszcze żadnych liczb związanych z tym „modelem”, nie ma pomiaru tego, jak niedokładne lub bezużyteczne są obecnie większość modeli, nie ma oceny ilościowej, jak daleko jesteśmy od jego wizji, ale przypuszczam, że można opracować testy na te rzeczy . Jednak na obecnym etapie jego model jest niedokładny. Jeśli to nie jest przydatne, oznacza to, że jego racja jest błędna; jeśli jest to użyteczne, pokonuje jego główny punkt, że niedokładne modele nie są użyteczne. Tak czy inaczej, obala własny argument.

4) Prawdopodobnie nie, ponieważ nie możemy mieć pełnych informacji do przetestowania naszego modelu, z tych samych powodów, dla których nie możemy uzyskać dokładnego modelu w pierwszej kolejności. Dokładny model z definicji wymagałby doskonałej przewidywalności, ale nawet jeśli pierwsze 100 testów okaże się w 100 procentach dokładne, 101 może nie. Potem jest cały problem nieskończenie małych skal pomiarowych. Następnie przejdziemy do wszystkich innych źródeł niepewności, które będą zanieczyszczać każdą ocenę naszego modelu Ivory Tower.

5) Aby rozwiązać ten problem, musiałem umieścić go w szerszym kontekście o wiele większych kwestii filozoficznych, które często są kontrowersyjne, więc nie sądzę, że jest to możliwe, aby omówić to bez wchodzenia w opinie (zauważ, że to samo w sobie jest kolejnym źródło niepewności), ale masz rację, ten artykuł zasługuje na odpowiedź. Wiele z tego, co mówi na inne tematy, jest na dobrej drodze, takich jak potrzeba dostosowania statystyk do Big Data, ale jest tam trochę niepraktycznego ekstremizmu, który należy poprawić.