Wiem, że generatywny oznacza „oparty na ”, a dyskryminujący oznacza „oparty na ”, ale jestem zdezorientowany w kilku kwestiach:
Wikipedia (+ wiele innych trafień w sieci) klasyfikuje takie rzeczy jak maszyny SVM i drzewa decyzyjne jako dyskryminujące. Ale nie mają nawet probabilistycznych interpretacji. Co oznacza tutaj dyskryminacja? Czy dyskryminacja właśnie oznacza coś, co nie jest generatywne?
Naiwny Bayes (NB) jest generatywny, ponieważ przechwytuje i , a zatem masz (a także ). Czy nie jest trywialne, aby powiedzmy, że regresja logistyczna (chłopiec plakatów modeli dyskryminujących) jest „generatywna” poprzez proste obliczenie w podobny sposób (takie samo założenie niezależności jak NB, takie, że , gdzie MLE dla to tylko częstotliwości)?
Wiem, że modele dyskryminacyjne przewyższają generatywne. Jakie praktyczne zastosowanie ma praca z modelami generatywnymi? Przytaczana jest możliwość generowania / symulacji danych, ale kiedy to nastąpi? Ja osobiście mam tylko doświadczenie z regresją, klasyfikacją, współpracą. filtrowanie ustrukturyzowanych danych, więc czy zastosowania są dla mnie nieistotne? Argument „brakujących danych” ( za brakujące ) wydaje się dawać przewagę dzięki danym szkoleniowym (kiedy faktycznie znasz i nie musisz marginalizować nad aby uzyskać stosunkowo głupi , Które mogłeś szacuje bezpośrednio w każdym razie), a nawet wtedy przypisanie jest znacznie bardziej elastyczny (można przewidzieć na podstawie nie tylko na y jednak inna x I „s również).
Co z całkowicie sprzecznymi cytatami z Wikipedii? „modele generatywne są zazwyczaj bardziej elastyczne niż modele dyskryminacyjne w wyrażaniu zależności w złożonych zadaniach uczenia się” w porównaniu do „modele dyskryminacyjne mogą ogólnie wyrażać bardziej złożone relacje między zmiennymi obserwowanymi a docelowymi”
Podobne pytanie, które skłoniło mnie do myślenia.