Modele generatywne a dyskryminacyjne (w kontekście bayesowskim)

22

Jakie są różnice między modelami generatywnymi i dyskryminacyjnymi (dyskryminującymi) (w kontekście nauki i wnioskowania bayesowskiego)?

a co to jest z prognozowaniem, teorią decyzji lub uczeniem się bez nadzoru?

bayesian predictive-models unsupervised-learning

— nkint
źródło

Przepraszam, nie rozumiem, co masz na myśli przez drugie zdanie. Czy spróbowałbyś to przeredagować?

— csgillespie,

och, właśnie dołączyłem do świata statystyki i uczenia maszynowego, przepraszam, nie znalazłem sposobu na połączenie nauki bez nadzoru z teorią decyzji. ale wciąż się uczę!

— nkint

1

Jestem tylko zdezorientowany, jak to pasuje do pytania. Na przykład słowa „przewidywanie”, „teoria decyzji” lub „bez nadzoru” nie pojawiają się w zaakceptowanej odpowiedzi

— csgillespie,

35

$\{(x_i,y_i)\}$ $p(x,y)$ $p(y|x)$ $p(y|x)$

$(y)$ $p(x|y)$

Mogą zdarzyć się przypadki, gdy jeden model jest lepszy od drugiego (np. Modele dyskryminacyjne zwykle mają się lepiej, jeśli masz dużo danych; modele generatywne mogą być lepsze, jeśli masz dodatkowe nieoznaczone dane). W rzeczywistości istnieją również modele hybird, które starają się wprowadzić to, co najlepsze z obu światów. Zobacz przykład tego artykułu: Zasadnicze hybrydy modeli generatywnych i dyskryminacyjnych

— ebony1
źródło

1

Niezła odpowiedź. Jeśli chodzi o porównywanie kanonicznych przykładów klasyfikatorów dyskryminujących z generatywnymi (odpowiednio regresja logistyczna i gausowskie naiwne Bayesa), uważam, że ten rozdział książki jest bardzo dostępny niż Ng: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf

— Josh Hemann,

3

Jeden dodatek do powyższej odpowiedzi:

Ponieważ dyskryminator dba tylko o P (Y | X), podczas gdy generatywny dba jednocześnie o P (X, Y) i P (X), aby dobrze przewidzieć P (Y | X), model generatywny ma mniejszy stopień swobody w modelu w porównaniu do modelu dyskryminującego. Tak więc model generatywny jest bardziej niezawodny , mniej podatny na nadmierne dopasowanie, podczas gdy dyskryminacja jest odwrotnie.

To wyjaśnia powyższą odpowiedź

Mogą zdarzyć się przypadki, gdy jeden model jest lepszy od drugiego (np. Modele dyskryminacyjne zwykle mają się lepiej, jeśli masz dużo danych; modele generatywne mogą być lepsze, jeśli masz dodatkowe nieoznaczone dane).

— Sztuczna inteligencja
źródło

2

Czy możesz wyjaśnić, co mówisz o tym, że modele generatywne mają mniejszy stopień swobody? Dowód? Spinki do mankietów? Dzięki

— Patrick