Niestety na to pytanie nie ma dobrej odpowiedzi. Możesz wybrać najlepszy model w oparciu o fakt, że minimalizuje on błąd bezwzględny, błąd podniesiony do kwadratu, maksymalizuje prawdopodobieństwo, wykorzystując niektóre kryteria, które karzą prawdopodobieństwo (np. AIC, BIC), aby wymienić tylko kilka najczęstszych wyborów. Problem polega na tym, że żadne z tych kryteriów nie pozwoli ci wybrać obiektywnie najlepszego modelu, a raczej najlepszy, z którego porównałeś. Innym problemem jest to, że podczas optymalizacji zawsze można uzyskać lokalne maksimum / minimum. Jeszcze innym problemem jest to, że wybór kryteriów wyboru modelu jest subiektywny . W wielu przypadkach świadomie lub półświadomie decydujesz o tym, co Cię interesuje i na tej podstawie wybierasz kryteria. Na przykład, używanie BIC zamiast AIC prowadzi do bardziej oszczędnych modeli o mniejszych parametrach. Zazwyczaj do modelowania interesują Cię bardziej oszczędne modele, które prowadzą do pewnych ogólnych wniosków na temat wszechświata, podczas gdy do przewidywania nie musi tak być, a czasami bardziej skomplikowany model może mieć lepszą moc predykcyjną (ale nie musi i często to nie). W jeszcze innych przypadkach czasami bardziej skomplikowane modele są preferowane ze względów praktycznych , na przykład podczas szacowania modelu Bayesa z MCMC, model z hierarchicznymi hiperpriorami może zachowywać się lepiej w symulacji niż prostszy. Z drugiej strony generalnie boimy się nadmiernego dopasowaniaa prostszy model ma mniejsze ryzyko nadmiernego dopasowania, więc jest to bezpieczniejszy wybór. Dobrym przykładem tego jest automatyczny stopniowy wybór modelu, który generalnie nie jest zalecany, ponieważ łatwo prowadzi do przeszacowania i tendencyjnych oszacowań. Istnieje również filozoficzny argument, brzytwa Ockhama , że najprostszym modelem jest ten preferowany. Zauważ też, że omawiamy tutaj porównanie różnych modeli, podczas gdy w rzeczywistych sytuacjach może być tak, że korzystanie z różnych narzędzi statystycznych może prowadzić do różnych wyników - więc istnieje dodatkowa warstwa wyboru metody!
Wszystko to prowadzi do smutnego, ale zabawnego faktu, że nigdy nie możemy być pewni. Zaczynamy od niepewności, używamy metod, aby sobie z tym poradzić, a kończymy na niewierności. Może to być paradoksalne, ale pamiętajmy, że używamy statystyk, ponieważ uważamy , że świat jest niepewny i probabilistyczny (inaczej wybralibyśmy karierę proroków), więc jak moglibyśmy dojść do różnych wniosków? Nie ma obiektywnej reguły zatrzymywania, istnieje wiele możliwych modeli, wszystkie są w błędzie (przepraszam za frazes!), Ponieważ starają się uprościć skomplikowaną (ciągle zmieniającą się i probabilistyczną) rzeczywistość. Uważamy, że niektóre z nich są bardziej przydatne niż inne do naszych celów, a czasem to robimyθμ
Możesz sięgnąć jeszcze głębiej i dowiedzieć się, że w rzeczywistości nie ma czegoś takiego jak „prawdopodobieństwo” - jest to tylko pewne przybliżenie niepewności wokół nas i istnieją również alternatywne sposoby przybliżenia, takie jak np. Logika rozmyta (patrz Kosko, 1993 do dyskusji). Nawet bardzo podstawowe narzędzia i twierdzenia, na których opierają się nasze metody, są przybliżeniami i nie są jedynymi możliwymi. Po prostu nie możemy być pewni w takiej konfiguracji.
Reguła zatrzymywania, której szukasz, jest zawsze specyficzna dla problemu i subiektywna, tzn. Oparta na tak zwanym profesjonalnym osądzie. Nawiasem mówiąc, istnieje wiele przykładów badań, które wykazały, że profesjonaliści często nie są lepsi, a czasem nawet gorsi w ocenie niż laicy (np. Ożywiani w dokumentach i książkach Daniela Kahnemana ), a jednocześnie są bardziej podatni na nadmierną pewność siebie (to w rzeczywistości argument o tym, dlaczego powinniśmy nie starają się być „pewny” o naszych modelach).
Kosko, B. (1993). Myślenie rozmyte: nowa nauka logiki rozmytej. Nowy Jork: Hyperion.