Jakie są rzeczywiste przykłady „nieparametrycznych modeli statystycznych”?

12

Czytam tutaj artykuł z Wikipedii na temat modeli statystycznych i jestem nieco zaniepokojony znaczeniem „nieparametrycznych modeli statystycznych”, a konkretnie:

Model statystyczny jest nieparametryczny, jeśli zestaw parametrów ma nieskończony wymiar. Model statystyczny jest semiparametryczny, jeśli ma zarówno parametry skończone, jak i nieskończenie wymiarowe. Formalnie, jeśli jest wymiarem a jest liczbą próbek, zarówno modele półparametryczne, jak i nieparametryczne mają wartość jako . Jeśli jako , wówczas model jest półparametryczny; w przeciwnym razie model jest nieparametryczny. $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

Rozumiem, że jeśli wymiar (rozumiem to dosłownie liczbę parametrów) modelu jest skończony, to jest to model parametryczny.

Dla mnie nie ma sensu to, w jaki sposób możemy stworzyć model statystyczny, który ma nieskończoną liczbę parametrów, tak że możemy go nazwać „nieparametrycznym”. Co więcej, nawet jeśli tak było, dlaczego „nie”, skoro w rzeczywistości istnieje nieskończona liczba wymiarów? Wreszcie, skoro przychodzę do tego z podstaw uczenia maszynowego, czy jest jakaś różnica między tym „nieparametrycznym modelem statystycznym” a powiedzmy „nieparametrycznymi modelami uczenia maszynowego”? Wreszcie, jakie mogą być konkretne przykłady takich „nieparametrycznych nieskończonych modeli wymiarowych”?

nonparametric model

— Creatron
źródło

3

Korzystając z innej strony Wiki ( en.wikipedia.org/wiki/… ): „Modele nieparametryczne różnią się od modeli parametrycznych tym, że struktura modelu nie jest określona a priori, lecz jest określana na podstawie danych. Termin „nieparametryczny” nie oznacza, że w takich modelach całkowicie brakuje parametrów, ale że liczba i charakter parametrów są elastyczne i nie są z góry ustalone ”. więc nieparametryczny nie ma nieskończonej liczby parametrów, ale nieznaną liczbę parametrów.

— Riff

Mam wątpliwości. W modelach nieparametrycznych z góry definiujemy strukturę modelu. Na przykład w drzewach decyzyjnych (który jest modelem nieparametrycznym) definiujemy parametr max_depth. Jak zatem powiedzieć, że ten parametr jest rzeczywiście wyuczony / określony na podstawie samych danych, a nie przez nas wcześniej ustalony?

— Amarpreet Singh,

5

Jak odpowiedział Johnnyboycurtis, metody nieparametryczne to te, które nie zakładają rozkładu populacji ani wielkości próby w celu wygenerowania modelu.

Model k-NN jest przykładem modelu nieparametrycznego, ponieważ nie uwzględnia on żadnych założeń do opracowania modelu. Naiwne Bayesa lub K-średnie jest przykładem parametrycznym, ponieważ zakłada rozkład do tworzenia modelu.

Na przykład, K-oznacza zakłada, że do opracowania modelu Wszystkie klastry są sferyczne (iid Gaussa). Wszystkie osie mają taki sam rozkład, a tym samym wariancję. Wszystkie klastry mają równe rozmiary.

Jeśli chodzi o k-NN, wykorzystuje on kompletny zestaw treningowy do przewidywania. Oblicza najbliższych sąsiadów z punktu testowego do prognozowania. Zakłada brak dystrybucji do tworzenia modelu.

Po więcej informacji:

— prashanth
źródło

Czy możesz to rozwinąć? Dlaczego KNN jest przykładem nieparametrycznego i dlaczego K-średnich może być? To te szczegóły, których szukam, zwłaszcza przykłady metod nieparametrycznych i dlaczego / jak nie mają założeń dotyczących rozkładu populacji. Dzięki!

— Creatron,

@Creatron Zmodyfikowałem odpowiedź, aby uzyskać więcej wyjaśnień.

— prashanth

3

Myślę, że brakuje ci kilku punktów. Po pierwsze i najważniejsze

Metodę statystyczną nazywa się nieparametryczną, jeżeli nie zakłada ona rozkładu populacji ani wielkości próby.

Oto prosty (zastosowany) samouczek dotyczący niektórych modeli nieparametrycznych: http://www.r-tutor.com/elementary-statistics/non-parametric-methods

Badacz może zdecydować się na zastosowanie modelu niepolarnego w porównaniu z modelem parametrycznym, powiedzmy, regresja nieparamtryczna vs regresja liniowa, ponieważ dane naruszają założenia przyjęte przez model parametryczny. Ponieważ pochodzisz z ML, założę się, że nigdy nie nauczyłeś się typowych założeń modelu regresji liniowej. Oto odniesienie: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

Naruszenie założeń może wypaczyć szacunki parametrów i ostatecznie zwiększyć ryzyko nieprawidłowych wniosków. Model nieparametryczny jest bardziej odporny na wartości odstające, relacje nieliniowe i nie zależy od wielu założeń dotyczących rozkładu populacji, a zatem może zapewnić więcej godnych zaufania wyników podczas próby wyciągania wniosków lub prognoz.

Aby uzyskać krótki samouczek na temat regresji nieparametrycznej, polecam te slajdy: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— Jon
źródło

Dzięki za linki, przejrzę je. Jedną rzeczą jest to, w jaki sposób mamy łączyć to z „nieskończoną liczbą parametrów”, które składają się na model „nieparametryczny”? Dzięki

— Creatron

Nie ma wzmianki o tej „nieskończonej liczbie parametrów”, więc nie mogę komentować. Nigdy nie widziałem takiego odniesienia do tematu nieparametrycznego modelu statystycznego, więc musiałbym zobaczyć odniesienie, zanim będę mógł udzielić odpowiedzi / interpretacji. Na razie martwiłbym się założeniami dotyczącymi konkretnych modeli w porównaniu z całą dziedziną.

— Jon

Artykuł w Wikipedii cytowany w moim pytaniu odnosi się do nieskończonej wymiarowości. Dosłownie: „Model statystyczny jest nieparametryczny, jeśli zestaw parametrów jest nieskończenie wymiarowy”. Co to znaczy? Mam na myśli to.

— Creatron,

Wiem. Ale Wikipedia nie przytacza cytatu tego stwierdzenia. Nie mogę ufać czemuś bez odniesienia.

— Jon

3

Obecnie biorę udział w kursie uczenia maszynowego, w którym stosujemy następującą definicję modeli nieparametrycznych: „Modele nieparametryczne stają się coraz bardziej skomplikowane wraz z rozmiarem danych”.

Model parametryczny

Aby zobaczyć, co to znaczy, spójrzmy na regresję liniową, model parametryczny: tam staramy się przewidzieć funkcję sparametryzowaną w : w jest niezależne od liczby obserwacji lub rozmiar twoich danych. $w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

Modele nieparametryczne

Zamiast tego regresja jądra próbuje przewidzieć następującą funkcję: gdzie mamy punktów danych, to wagi i to funkcja jądra. Tutaj liczba parametrów jest zależna od liczby punktów danych .

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

To samo dotyczy jądra perceptronu:

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

Wróćmy do twojej definicji i powiedzmy, że d to liczba . Jeśli pozwolimy to . Właśnie tego wymaga definicja wikipedii. $\alpha_i$ $n \to \infty$ $d \to \infty$

Wziąłem funkcję regresji jądra z moich slajdów i funkcję perceptronu z jądra z wikipedii: https://en.wikipedia.org/wiki/Kernel_method

— sop_se
źródło