Poświęciłem dużo czasu na opracowanie metod i oprogramowania do walidacji modeli predykcyjnych w tradycyjnej dziedzinie statystyki częstokroć. Wprowadzając w życie więcej pomysłów bayesowskich i nauczając, dostrzegam kilka kluczowych różnic do przyjęcia. Po pierwsze, bayesowskie modelowanie predykcyjne prosi analityka o przemyślenie wcześniejszych dystrybucji, które można dostosować do cech kandydujących, a ci pierwsi przyciągną model do nich (tj. Uzyskają skurcz / karanie / regularyzację z różnymi wielkościami kar za różne cechy predykcyjne ). Po drugie, „prawdziwa” metoda bayesowska nie daje jednego modelu, ale otrzymuje się cały rozkład boczny dla prognozy.
Biorąc pod uwagę te cechy bayesowskie, co oznacza nadmierne dopasowanie? Czy powinniśmy to ocenić? Jeśli tak to jak? Skąd wiemy, kiedy model bayesowski jest niezawodny do użytku w terenie? Czy też jest to kwestia sporna, ponieważ tylny będzie nosił wszystkie niepewności niepewności, gdy użyjemy modelu, który opracowaliśmy do przewidywania?
Jak zmieniłoby się myślenie, gdybyśmy zmusili model Bayesa do destylacji do pojedynczej liczby, np. Średniej tylnej / trybu / mediany ryzyka?
Widzę tutaj podobne myślenie . Równoległą dyskusję można znaleźć tutaj .
Dalsze pytanie : jeśli jesteśmy w pełni Bayesianami i spędzamy trochę czasu na zastanawianiu się nad kwestiami priorytetowymi przed zobaczeniem danych, i dopasowujemy model, w którym prawdopodobieństwo danych zostało odpowiednio określone, jesteśmy zmuszeni do zadowolenia z naszego modelu w odniesieniu do nadmiernego dopasowania ? Czy też musimy robić to, co robimy w świecie częstych, w którym losowo wybrany podmiot można przewidzieć średnio dobrze, ale jeśli wybierzemy podmiot, który ma bardzo niską prognozę lub ten, który ma bardzo wysoką przewidywaną wartość, nastąpi regresja na myśli?