O George Box, Galit Shmueli i metodzie naukowej?

(To pytanie może wydawać się bardziej odpowiednie dla filozofii SE. Mam nadzieję, że statystycy mogą wyjaśnić moje nieporozumienia na temat wypowiedzi Boxa i Shmueli, dlatego zamieszczam je tutaj).

George Box (o sławie ARIMA) powiedział:

„Wszystkie modele są błędne, ale niektóre są przydatne”.

Galit Shmueli w swoim słynnym artykule „Wyjaśnić lub przewidzieć” twierdzi (i cytuje innych, którzy się z nią zgadzają), że:

Wyjaśnianie i przewidywanie nie jest tym samym i że niektóre modele dobrze sobie radzą z wyjaśnianiem, nawet jeśli źle sobie radzą z przewidywaniem.

Uważam, że te zasady są w jakiś sposób sprzeczne.

Jeśli model nie przewiduje dobrze, czy jest przydatny?

Co ważniejsze, jeśli model dobrze wyjaśnia (ale niekoniecznie dobrze przewiduje), musi być prawdziwy (tzn. Nie zły) w taki czy inny sposób. Więc w jaki sposób ta siatka z „wszystkimi modelami są złe” Boxa?

Wreszcie, jeśli model wyjaśnia dobrze, ale nie przewiduje dobrze, to w jaki sposób jest naukowy? Większość naukowych kryteriów rozgraniczających (weryfikacja, falsyfikacjonizm itp.) Sugeruje, że stwierdzenie naukowe musi mieć moc predykcyjną lub potocznie: teoria lub model jest poprawny tylko wtedy, gdy można go przetestować empirycznie (lub sfałszować), co oznacza, że musi przewidzieć przyszłe wyniki.

Moje pytania:

• Czy wypowiedź Boxa i idee Shmueli są rzeczywiście sprzeczne, czy też czegoś mi brakuje, np. Czy model nie ma mocy predykcyjnej, ale może być nadal przydatny?
• Jeśli stwierdzenia Boxa i Shmueli nie są ze sobą sprzeczne, to co to znaczy, że model jest zły i nie przewiduje dobrze, a mimo to ma moc wyjaśniającą? Mówiąc inaczej: jeśli ktoś odbiera zarówno poprawność, jak i zdolność przewidywania, co pozostanie z modelu?

Jakie weryfikacje empiryczne są możliwe, gdy model ma moc wyjaśniającą, ale nie moc predykcyjną? Shmueli wspomina takie rzeczy jak: użyj AIC dla wyjaśnienia i BIC dla przewidywania itp., Ale nie rozumiem, jak to rozwiązuje problem. W modelach predykcyjnych można użyć AIC, BIC, regularyzacji lub itp., Ale ostatecznie testowanie próbek i wydajność w produkcji decyduje o jakości modelu. Ale w przypadku modeli, które dobrze to wyjaśniają, nie widzę, w jaki sposób jakakolwiek funkcja straty może naprawdę ocenić model. W filozofii nauki istnieje pojęcie niedookreślenia$R^2$$L1$L L p < 0,05 p < 0,1 p < 0,01co wydaje się tutaj istotne: dla każdego zestawu danych zawsze można rozsądnie wybrać rozkład (lub mieszaninę rozkładów) i funkcję straty w taki sposób, aby pasowały one do danych (i dlatego można twierdzić, że to wyjaśniają). Co więcej, próg, pod którym powinien być poniżej, aby ktoś mógł twierdzić, że model odpowiednio wyjaśnia dane, jest arbitralny (rodzaj podobnych wartości p, dlaczego jest to a nie lub ?).$L$$L$$p < 0.05$$p < 0.1$$p < 0.01$

• W oparciu o powyższe, w jaki sposób można obiektywnie zweryfikować model, który dobrze wyjaśnia, ale nie przewiduje dobrze, ponieważ testowanie poza próbą nie jest możliwe?

Zacznę od zwięzłego cytatu George'a Boxa, że ​​„wszystkie modele są złe, ale niektóre są użyteczne”. To stwierdzenie jest podsumowaniem metodologicznego podejścia „pozytywizmu”, które jest podejściem filozoficznym, które ma duży wpływ na nauki. Podejście to opisano szczegółowo (w kontekście teorii ekonomicznej) w klasycznym eseju metodologicznym Friedmana (1966) . W tym eseju Friedman twierdzi, że każda przydatna teoria naukowa koniecznie stanowi uproszczenie rzeczywistości, a zatem jej założenia muszą zawsze do pewnego stopnia odbiegać od rzeczywistości, a nawet mogą znacznie odbiegać od rzeczywistości.redukując złożoność świata do możliwego do zarządzania zestawu zasad oraz jego dokładność w prognozowaniu rzeczywistości i generowaniu nowych sprawdzalnych hipotez na temat rzeczywistości. Friedman twierdzi zatem, że „wszystkie modele są błędne”, o ile wszystkie zawierają założenia, które upraszczają (a zatem odchodzą od) rzeczywistość, ale że „niektóre są użyteczne”, o ile dają one proste ramy do dokonywania przydatnych prognoz na temat rzeczywistości.

Teraz, jeśli czytasz Box (1976) (artykuł, w którym po raz pierwszy stwierdza, że ​​„wszystkie modele są złe”), zobaczysz, że nie cytuje Friedmana, ani nie wspomina o pozytywistyce metodologicznej. Niemniej jednak jego wyjaśnienie metody naukowej i jej cech jest bardzo zbliżone do tego opracowanego przez Friedmana. W szczególności obaj autorzy podkreślają, że teoria naukowa będzie przewidywała rzeczywistość, którą można przetestować na podstawie zaobserwowanych faktów, a błąd w prognozie można następnie wykorzystać jako podstawę do rewizji teorii.

Teraz przejdźmy do dychotomii omawianej przez Galit Shmueli w Shmueli (2001) . W tym artykule Shmueli porównuje wyjaśnienia przyczynowe i przewidywane obserwowane wyniki i twierdzi, że są to odrębne działania. W szczególności twierdzi ona, że ​​relacje przyczynowe oparte są na konstrukcjach leżących u podstaw, które nie przejawiają się bezpośrednio w mierzalnych wynikach, a zatem „mierzalne dane nie są dokładnym odwzorowaniem ich podstawowych konstrukcji” (s. 293). W związku z tym argumentuje, że istnieje aspekt analizy statystycznej, który obejmuje wnioskowanie na temat niemożliwych do zaobserwowania leżących u podstaw związków przyczynowych, które nie przejawiają się w mierzalnych przeciwnych faktach różnicach w wynikach.

Chyba, że ​​czegoś nie rozumiem, uważam za słuszne stwierdzenie, że pomysł ten jest sprzeczny z pozytywistycznymi poglądami Boxa i Friedmana przedstawionymi w cytacie Boxa. Pozytywistyczny punkt widzenia zasadniczo mówi, że nie ma żadnych dopuszczalnych „konstrukcji” metafizycznych poza tymi, które przejawiają się w mierzalnych rezultatach. Pozytywizm ogranicza się do uwzględnienia obserwowalnych danych i koncepcji opartych na tych danych; wyklucza to rozpatrywanie z górykoncepcje metafizyczne. Tak więc pozytywista twierdziłby, że koncepcja związku przyczynowego może być ważna tylko w takim zakresie, w jakim jest zdefiniowana w kategoriach mierzalnych wyników w rzeczywistości --- w zakresie, w jakim jest zdefiniowana jako coś innego niż to (jak traktuje to Shmueli), byłoby to uważane za spekulację metafizyczną i byłoby traktowane jako niedopuszczalne w dyskursie naukowym.

Więc myślę, że masz rację - te dwa podejścia są w zasadzie sprzeczne. Pozytywistyczne podejście zastosowane przez Boxa nalega, aby uzasadnione koncepcje naukowe były całkowicie oparte na ich przejawach w rzeczywistości, podczas gdy alternatywne podejście stosowane przez Shmueli mówi, że istnieją pewne „konstrukty”, które są ważnymi pojęciami naukowymi (które chcemy wyjaśnić), ale których nie można być doskonale reprezentowanym, gdy są „operacjonalizowane” poprzez odniesienie ich do mierzalnych wyników w rzeczywistości.

Model zastosowany do wyjaśnienia rzeczy jest uproszczeniem rzeczywistości. Uproszczenie to tylko jedno słowo „źle w jakiś użyteczny sposób”. Na przykład, jeśli zaokrąglimy liczbę od 3.1415926535898 do 3.14, popełnimy błąd, ale ten błąd pozwala nam ludziom skupić się na najważniejszej części tej liczby. W ten sposób wykorzystywane są modele w wyjaśnianiu, zapewnia wgląd w pewien problem, ale z konieczności musi oderwać się od wielu innych rzeczy: My, ludzie, nie jesteśmy zbyt dobrzy, patrząc na tysiące rzeczy jednocześnie. Jeśli zależy nam przede wszystkim na przewidywaniu, w miarę możliwości chcemy uwzględnić te tysiące rzeczy, ale wyjaśnienie tego kompromisu jest inne.

Przykład modelu, który jest doskonały w przewidywaniu, ale niczego nie wyjaśnia, znajduje się w artykule w Wikipedii „ Wszystkie modele są złe ”. Przykładem jest model grawitacji Newtona. Model Newtona prawie zawsze daje prognozy, których nie można odróżnić od obserwacji empirycznych. Jednak model jest niezwykle nieprawdopodobny: ponieważ postuluje siłę, która może działać natychmiast na dowolnie duże odległości.

Model Newtona został wyparty przez model podany w ogólnej teorii względności Einsteina. Przy ogólnej teorii względności siły grawitacyjne przemieszczają się w przestrzeni kosmicznej z skończoną prędkością (prędkością światła).

Model Newtona nie jest uproszczeniem modelu relatywistycznego. Aby to zilustrować, rozważ jabłko spadające z drzewa. Według ogólnej teorii względności jabłko spada, a Ziemia nie wywiera na niego żadnej siły. (Głównym powodem upadku jabłka jest to, że Ziemia wypacza czas, tak że zegary w pobliżu podstawy drzewa biegną wolniej niż zegary wysoko w drzewie.) Tak więc, jak zauważa artykuł w Wikipedii, model Newtona jest całkowicie błędny z objaśnienia perspektywiczny.

Artykuł Shmueli [2010] zakłada, że ​​model ma dwa cele: przewidywanie i objaśnienie. W rzeczywistości kilku autorów stwierdziło, że istnieją trzy cele (patrz np. Konishi i Kitagawa [ Kryteria informacyjne i modelowanie statystyczne , 2008: §1.1] oraz Friendly & Meyer [ Discrete Data Analysis , 2016: §11.6]). Te trzy cele odpowiadają trzem rodzajom logicznego rozumowania:

• przewidywanie (odpowiadające odliczeniu);
• estymacja parametrów (odpowiadająca indukcji);
• opis struktury (odpowiadający uprowadzeniu).

Jestem studentem statystyki, więc nie będę się nazywać ekspertem, ale oto moje dwa centy.

Modele nie tłumaczą się; ludzie je interpretują. Modele liniowe są łatwiejsze do zrozumienia niż sieci neuronowe i losowe lasy, ponieważ są bliżej sposobu, w jaki podejmujemy decyzje. Rzeczywiście, ANN naśladują ludzki mózg, ale nie decydujesz, do której restauracji pójść jutro, wykonując serię mnożenia macierzy. Zamiast tego ważysz w swoim umyśle niektóre czynniki według ich znaczenia, które jest zasadniczo kombinacją liniową.

„Moc wyjaśniająca” mierzy, jak dobrze model radzi sobie z ludzką intuicją, podczas gdy „moc predykcyjna” mierzy, jak dobrze dopasowuje się do leżącego u podstaw mechanizmu interesującego go procesu. Sprzeczność między nimi polega zasadniczo na przepaści między tym, czym jest świat, a tym, jak możemy go postrzegać / rozumieć. Mam nadzieję, że to wyjaśnia, dlaczego „niektóre modele dobrze sobie radzą z wyjaśnianiem, mimo że źle radzą sobie z przewidywaniem”.

Ian Stewart powiedział kiedyś: „Gdyby nasze mózgi były wystarczająco proste, abyśmy je zrozumieli, bylibyśmy tak prości, że nie moglibyśmy”. Niestety, nasze małe ludzkie mózgi są w rzeczywistości bardzo proste w porównaniu ze wszechświatem, a nawet giełdą (co wymaga wielu mózgów :). Do tej pory wszystkie modele są produktami ludzkiego mózgu, więc muszą być mniej lub bardziej niedokładne, co prowadzi do „Box wszystkie modele są złe”. Z drugiej strony model nie musi być poprawny technicznie, aby był użyteczny. Na przykład prawa ruchu Newtona zostały obalone przez Einsteina, ale pozostają użyteczne, gdy obiekt nie jest absurdalnie duży lub szybki.

Aby odpowiedzieć na twoje pytanie, szczerze mówiąc, nie widzę niezgodności między Boxem a punktami Shmueli. Wydaje się, że uważasz „moc wyjaśniającą” i „moc predykcyjną” za właściwości dwumianowe, ale myślę, że znajdują się one na dwóch końcach spektrum.