Najlepsze podejście do wyboru modelu Bayesian czy walidacja krzyżowa?

Próbując wybrać spośród różnych modeli lub liczby funkcji do uwzględnienia, powiedzmy przewidywanie, że mogę wymyślić dwa podejścia.

1. Podziel dane na zestawy szkoleniowe i testowe. Jeszcze lepiej, użyj ładowania początkowego lub krzyżowej weryfikacji K-fold. Trenuj na zestawie treningowym za każdym razem i oblicz błąd w stosunku do zestawu testowego. Błąd testu wykresu a liczba parametrów. Zwykle dostajesz coś takiego:
2. Oblicz prawdopodobieństwo modelu, całkując wartości parametrów. tj. oblicz i wykreśl to na podstawie liczby parametrów. Otrzymujemy wtedy coś takiego:$\int_\theta P(D|\theta)P(\theta)d \theta$

Więc moje pytania to:

1. Czy te podejścia są odpowiednie do rozwiązania tego problemu (decydowanie, ile parametrów należy uwzględnić w modelu lub wybór spośród wielu modeli)?
2. Czy są równoważne? Prawdopodobnie nie. Czy dadzą ten sam optymalny model przy pewnych założeniach lub w praktyce?
3. Jakie są zalety i wady każdego podejścia, poza zwykłą filozoficzną różnicą określania wcześniejszej wiedzy w modelach bayesowskich itp.? Który wybrałbyś?

Aktualizacja: Znalazłem również powiązane pytanie dotyczące porównywania AIC i BIC. Wydaje się, że moja metoda 1 jest asymptotycznie równoważna AIC, a metoda 2 jest asymptotycznie powiązana z BIC. Ale przeczytałem tam również, że BIC jest odpowiednikiem CV Leave-One-Out. Oznaczałoby to, że minimum błędu szkolenia i maksimum prawdopodobieństwa Bayesa są równoważne, gdy LOO CV jest równoważne K-krotnie CV. Być może bardzo interesujący artykuł „ Teoria asymptotyczna wyboru modelu liniowego ” autorstwa Jun Shao dotyczy tych zagadnień.

1. Czy te podejścia są odpowiednie do rozwiązania tego problemu (decydowanie, ile parametrów należy uwzględnić w modelu lub wybór spośród wielu modeli)?

Każda z nich może być, tak. Jeśli chcesz uzyskać model, który najlepiej prognozuje, z listy modeli, które rozważasz, podejście dzielenia / sprawdzania poprawności może to zrobić dobrze. Jeśli interesuje Cię wiadomo, który z modeli (na liście modeli przypuszczalnych) jest w rzeczywistości tym, który generuje dane, to drugie podejście (ocena prawdopodobieństwa modeli z tyłu) jest tym, czego chcesz.

2. Czy są równoważne? Prawdopodobnie nie. Czy dadzą ten sam optymalny model przy pewnych założeniach lub w praktyce?

Nie, ogólnie nie są równoważne. Na przykład użycie AIC (An Information Criterion, autorstwa Akaike) do wybrania „najlepszego” modelu odpowiada w przybliżeniu walidacji krzyżowej. Zastosowanie BIC (Bayesian Information Criterion) odpowiada zastosowaniu prawdopodobieństw tylnych, ponownie w przybliżeniu. Nie są to te same kryteria, więc ogólnie należy oczekiwać, że doprowadzą do różnych wyborów. Oni mogą dać te same odpowiedzi - gdy model, który prognozuje najlepszy okazuje się być prawdą - ale w wielu sytuacjach model, który najlepiej pasuje jest rzeczywiście taki, który overfits, co prowadzi do rozbieżności między podejściami.

Czy zgadzają się w praktyce? To zależy od tego, na czym polega twoja „praktyka”. Wypróbuj to na dwa sposoby i dowiedz się.

3. Jakie są zalety i wady każdego podejścia, poza zwykłą filozoficzną różnicą określania wcześniejszej wiedzy w modelach bayesowskich itp.? Który byś wybrał?

• Zazwyczaj obliczenia do walidacji krzyżowej są znacznie łatwiejsze niż obliczanie prawdopodobieństw późniejszych
• Często trudno jest przekonać, że „prawdziwy” model znajduje się na liście, z której wybierasz. Jest to problem związany z wykorzystaniem prawdopodobieństw późniejszych, ale nie z walidacją krzyżową
• Obie metody zwykle wymagają użycia dość arbitralnych stałych; ile warta jest dodatkowa jednostka prognozy pod względem liczby zmiennych? Jak bardzo wierzymy w każdy z modeli a priori ?
  • Prawdopodobnie wybrałbym cross-validation. Ale zanim zacznę, chciałbym dużo wiedzieć o tym, dlaczego dokonano wyboru modelu, tj. Do czego miał być wybrany wybrany model. Żadna forma wyboru modelu może nie być odpowiednia, jeśli np. Wymagane jest wnioskowanie przyczynowe.

Optymalizacja jest źródłem wszelkiego zła w statystykach! ; o)

Za każdym razem, gdy próbujesz wybrać model na podstawie kryterium, które jest oceniane na skończonej próbce danych, stwarzasz ryzyko przesadnego dopasowania kryterium wyboru modelu i kończysz się modelem gorszym niż na początku. Zarówno walidacja krzyżowa, jak i krańcowe prawdopodobieństwo są rozsądnymi kryteriami wyboru modelu, ale oba zależą od skończonej próbki danych (podobnie jak AIC i BIC - kara za złożoność może pomóc, ale nie rozwiązuje tego problemu). Przekonałem się, że jest to poważny problem w uczeniu maszynowym

GC Cawley i NLC Talbot, Nadmierne dopasowanie w wyborze modelu i późniejsze odchylenie wyboru w ocenie wydajności, Journal of Machine Learning Research, 2010. Research, vol. 11, s. 2079–2107, lipiec 2010 r. ( Www )

Z bayesowskiego punktu widzenia lepiej jest zintegrować wszystkie opcje i parametry modelu. Jeśli niczego nie zoptymalizujesz ani nie wybierzesz, trudniej będzie się go przeregulować. Minusem jest to, że kończysz się trudnymi całkami, które często wymagają rozwiązania za pomocą MCMC. Jeśli chcesz uzyskać najlepsze wyniki predykcyjne, sugerowałbym podejście w pełni bayesowskie; jeśli chcesz zrozumieć dane, często pomocny jest wybór najlepszego modelu. Jeśli jednak ponownie zaimportujesz dane i za każdym razem uzyskasz inny model, oznacza to, że procedura dopasowania jest niestabilna i żaden z modeli nie jest niezawodny do zrozumienia danych.

Należy zauważyć, że jedną ważną różnicą między walidacją krzyżową a dowodami jest to, że wartość krańcowego prawdopodobieństwa zakłada, że ​​model nie jest błędnie określony (zasadniczo podstawowa forma modelu jest odpowiednia) i może dawać mylące wyniki, jeśli tak jest. Walidacja krzyżowa nie zakłada takiego założenia, co oznacza, że ​​może być nieco bardziej niezawodna.