Rozwiązanie problemu niepewności modelu

25

Zastanawiałem się, jak Bayesianie ze społeczności CrossValidated postrzegają problem niepewności modelu i jak wolą sobie z tym poradzić? Postaram się zadać pytanie w dwóch częściach:

Jak ważne (według twojego doświadczenia / opinii) jest radzenie sobie z niepewnością modelu? Nie znalazłem żadnych artykułów na ten temat w społeczności uczącej się maszynowo, więc zastanawiam się tylko, dlaczego.
Jakie są typowe podejścia do postępowania z niepewnością modelu (punkty bonusowe, jeśli podasz referencje)? Słyszałem o uśrednianiu modelu Bayesa, chociaż nie znam konkretnych technik / ograniczeń tego podejścia. Jakie są inne i dlaczego wolisz jeden od drugiego?

machine-learning bayesian model-selection

— Nacięcie
źródło

1

Mniej popularną metodą (ale o rosnącej popularności) są reguły punktacji, które oceniają predykcyjne działanie modeli.

17

Istnieją dwa przypadki związane z wyborem modelu:

Gdy prawdziwy model należy do obszaru modelu.

Jest to bardzo proste w obsłudze przy użyciu BIC . Istnieją wyniki, które pokazują, że BIC wybierze prawdziwy model z dużym prawdopodobieństwem.

Jednak w praktyce bardzo rzadko znamy prawdziwy model. Muszę zauważyć, że BIC jest z tego powodu niewłaściwie wykorzystywany (prawdopodobnym powodem jest podobny wygląd jak AIC ) . Problemy te zostały już wcześniej omówione na tym forum w różnych formach. Dobra dyskusja jest tutaj .

Gdy prawdziwego modelu nie ma w obszarze modelu.

Jest to aktywny obszar badań w społeczności bayesowskiej. Potwierdzono jednak, że ludzie wiedzą, że użycie BIC jako kryterium wyboru modelu w tym przypadku jest niebezpieczne. Świadczy o tym najnowsza literatura w analizie danych o dużych wymiarach. Jednym z takich przykładów jest to . Czynnik Bayesa na pewno działa zaskakująco dobrze w wysokich wymiarach. Zaproponowano kilka modyfikacji BIC, takich jak mBIC, ale nie ma konsensusu. Greena RJMCMC jest kolejnym popularnym sposobem robienia Bayesa wyboru modelu, ale to ma swoje krótkich-wchodzących. Możesz śledzić więcej na ten temat.

W świecie bayesowskim istnieje inny obóz, który zaleca uśrednianie modeli. Znana istota, dr Raftery.

Uśrednianie modelu Bayesa.

Ta strona internetowa Chrisa Volinksy jest kompleksowym źródłem uśredniania modelu Bayesa. Niektóre inne prace są tutaj .

Ponownie, wybór modelu bayesowskiego jest nadal aktywnym obszarem badań i możesz uzyskać bardzo różne odpowiedzi w zależności od tego, kogo zapytasz.

— suncoolsu
źródło

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

może to również wynikać z niskiej skuteczności aproksymacji Laplace'a

— probabilislogic

11

„Prawdziwy” Bayesian poradziłby sobie z niepewnością modelu poprzez zmarginalizowanie (zintegrowanie) wszystkich możliwych modeli. Na przykład w przypadku problemu z liniową regresją grzbietu zmarginalizujesz parametry regresji (które miałyby tył Gaussa, więc można to zrobić analitycznie), ale następnie zmarginalizujesz hiper-paremetry (poziom hałasu i parametr regularyzacji) za pomocą np. MCMC metody

„Mniejszym” rozwiązaniem bayesowskim byłoby zmarginalizowanie parametrów modelu, ale zoptymalizowanie hiperparametrów przez maksymalizację marginalnego prawdopodobieństwa (znanego również jako „dowód Bayesa”) dla modelu. Może to jednak prowadzić do nadmiernego dopasowania, niż można się spodziewać (patrz np. Cawley i Talbot ). Informacje na temat maksymalizacji dowodów w uczeniu maszynowym można znaleźć w pracy Davida MacKaya . Dla porównania zapoznaj się z pracą Radforda Neala nad podejściem „zintegruj wszystko” dla podobnych problemów. Zauważ, że struktura dowodów jest bardzo przydatna w sytuacjach, w których integracja jest zbyt kosztowna obliczeniowo, więc istnieje możliwość zastosowania obu podejść.

Skutecznie Bayesianie integrują, a nie optymalizują. Idealnie byłoby, gdybyśmy wyrazili swoje wcześniejsze przekonanie dotyczące cech rozwiązania (np. Gładkości) i dokonali hipotetycznych prognoz bez faktycznego tworzenia modelu. „Modele” procesu Gaussa stosowane w uczeniu maszynowym są przykładem tego pomysłu, w którym funkcja kowariancji koduje nasze wcześniejsze przekonanie dotyczące rozwiązania. Zobacz doskonałą książkę Rasmussena i Williamsa .

Dla praktycznych Bayesian zawsze istnieje walidacja krzyżowa, w większości rzeczy ciężko pokonać.

— Dikran Torbacz
źródło

11

Jedną z interesujących rzeczy w świecie „niepewności modelu” jest pojęcie „prawdziwego modelu”. Oznacza to domyślnie, że nasze „propozycje modelowe” mają postać:

{M.}_{ja}^{(1)} : Model i jest prawdziwym modelem

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

Wyczerpanie ma tutaj kluczowe znaczenie, ponieważ zapewnia to zwiększenie prawdopodobieństwa do 1, co oznacza, że możemy zmarginalizować model.

Ale to wszystko na poziomie koncepcyjnym - uśrednianie modelu ma dobrą wydajność. Oznacza to, że musi istnieć lepsza koncepcja.

Osobiście widzę modele jako narzędzia, takie jak młotek lub wiertło. Modele to konstrukcje mentalne służące do przewidywania lub opisywania rzeczy, które możemy obserwować. Mówienie o „prawdziwym młocie” brzmi bardzo dziwnie, a równie śmiało mówić o „prawdziwej konstrukcji mentalnej”. Na tej podstawie pojęcie „prawdziwego modelu” wydaje mi się dziwne. Bardziej naturalne wydaje się myślenie o „dobrych” i „złych” modelach niż o „dobrych” i „złych” modelach.

Biorąc pod uwagę ten punkt widzenia, równie dobrze moglibyśmy być niepewni co do „najlepszego” modelu do wyboru, z wybranych modeli. Załóżmy więc, że zamiast tego rozważamy propozycję:

{M.}_{ja}^{(2))} : Spośród wszystkich określonych modeli

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

i-ty model jest najlepszym modelem do użycia

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

W tym podejściu potrzebujesz jednak pewnego rodzaju miary dopasowania, aby ocenić, jak dobry jest twój „najlepszy” model. Można to zrobić na dwa sposoby, testując modele „pewności”, co odpowiada zwykłej statystyce GoF (dywergencja KL, Chi-kwadrat itp.). Innym sposobem zmierzenia tego jest włączenie wyjątkowo elastycznego modelu do swojej klasy modeli - być może normalnego modelu mieszanki z setkami składników lub mieszaniny procesowej Dirichleta. Jeśli ten model okaże się najlepszy, prawdopodobnie inne modele są nieodpowiednie.

Ten artykuł ma dobrą teoretyczną dyskusję i zawiera krok po kroku przykład tego, jak faktycznie dokonujesz wyboru modelu.

— prawdopodobieństwo prawdopodobieństwa
źródło

Duży +1. Bardzo przemyślana, jasna analiza.

— whuber

Świetna odpowiedź. Powinienem wspomnieć, że sądząc po konkretnej klasie modeli, BIC jest świetny. Jednak, jak wspomniałeś, przez większość czasu prawdziwy model znajduje się poza przestrzenią modelu. Następnie, jak już wspomniałeś, sens ma bliskość między prawdziwym modelem a „najlepszym modelem”. Są to odpowiedzi, na które AIC i inne IC próbują odpowiedzieć. BMA działa, ale wykazało również, że nie działa. Nie oznacza to, że jest to złe, ale powinniśmy być ostrożni, myśląc o tym jako o uniwersalnej alternatywie.

— suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

Wiem, że ludzie używają DIC i Bayesa, jak powiedział suncoolsu. Byłem zainteresowany, gdy powiedział „Istnieją wyniki, które pokazują, że BIC wybierze prawdziwy model z dużym prawdopodobieństwem” (odniesienia?). Ale używam jedynej znanej mi rzeczy, a mianowicie późniejszej kontroli predykcyjnej, której bronił Andrew Gelman. Jeśli przejdziesz do Google Andrew Gelman i późniejszych kontroli predykcyjnych, znajdziesz wiele rzeczy. I przyjrzałbym się, co Christian Robert pisze w ABC na temat wyboru modelu . W każdym razie oto kilka referencji, które lubię, oraz kilka ostatnich postów na blogu Gelmana:

Blog

DIC i AIC ; Więcej na temat DIC . Sprawdzanie modelu i walidacja zewnętrzna

Artykuły na temat kontroli predykcyjnych późniejszych:

GELMAN, Andrew. (2003a). „Bayesowskie sformułowanie analizy danych eksploracyjnych i testowanie dopasowania”. International Statistics Review, vol. 71, n. 2, s. 389–382.

GELMAN, Andrew. (2003b). „Analiza danych eksploracyjnych dla złożonych modeli”. Journal of Computational and Graphic Statistics, vol. 13, n. 4, s. 755/779.

GELMAN, Andrew; MECHELEN, Iven Van; VERBEKE, Geert; HEITJAN, Daniel F .; MEULDERS, Michel. (2005). „Wielokrotna imputacja do sprawdzania modelu: wykresy danych zakończonych z brakującymi i ukrytymi danymi”. Biometria 61, 74–85, marzec

GELMAN, Andrew; MENG, Xiao-Li; STERN, Hal. (1996). „Tylna predykcyjna ocena sprawności modelu za pomocą uświadomionych rozbieżności”. Statistica Sinica, 6, s. 733–807.

— Manoel Galdino
źródło