Co w praktyce oznacza „prawdopodobieństwo zdefiniowane tylko do multiplikatywnej stałej proporcjonalności”?

Czytam artykuł, w którym autorzy prowadzą dyskusję o oszacowaniu maksymalnego prawdopodobieństwa do twierdzenia Bayesa, rzekomo jako wstęp dla początkujących.

Jako przykład prawdopodobieństwa zaczynają się od rozkładu dwumianowego:

$$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$$

a następnie zaloguj obie strony

$$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$$

z uzasadnieniem, że:

„Ponieważ prawdopodobieństwo jest zdefiniowane tylko do multiplikatywnej stałej proporcjonalności (lub stałej addytywnej dla logarytmu prawdopodobieństwa), możemy przeskalować ... przez obniżenie współczynnika dwumianowego i zapisanie logarytmu prawdopodobieństwa w miejsce prawdopodobieństwa”

Matematyka ma sens, ale nie rozumiem, co należy rozumieć przez „prawdopodobieństwo definiuje się tylko do multiplikatywnej stałej proporcjonalności” i jak pozwala to na obniżenie współczynnika dwumianowego i przejście od $p(x|n,\theta)$ do $\ell(\theta|x,n)$ .

Podobna terminologia pojawiła się w innych pytaniach ( tu i tutaj ), ale nadal nie jest jasne, jakie praktycznie jest prawdopodobieństwo zdefiniowane lub doprowadzające informacje do multiplikatywnej stałej. Czy można to wyjaśnić w kategoriach laika?

Chodzi o to, że czasami różne modele (dla tych samych danych) mogą prowadzić do funkcji prawdopodobieństwa, które różnią się stałą multiplikatywną, ale treść informacji musi być wyraźnie taka sama. Przykład:

Modelujemy niezależnych eksperymentów Bernoulliego, prowadzących do danych , każdy z rozkładem Bernoulliego z parametrem (prawdopodobieństwa) . Prowadzi to do funkcji prawdopodobieństwa Lub możemy podsumować dane przez zmienną dwumianową , który ma rozkład dwumianowy, co prowadzi do funkcji prawdopodobieństwa która jako funkcja nieznanego parametru jest proporcjonalna do poprzedniej funkcji prawdopodobieństwa . Dwie funkcje wiarygodności wyraźnie zawierają te same informacje i powinny prowadzić do tych samych wniosków!$n$$X_1, \dots, X_n$$p$

$$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$$ $Y=X_1+X_2+\dotsm+X_n$ $$\binom{n}{y} p^y (1-p)^{n-y}$$ $p$

I rzeczywiście, z definicji są one uważane za tę samą funkcję prawdopodobieństwa.

Kolejny punkt widzenia: zauważ, że gdy w rachunku Bayesa używane są funkcje prawdopodobieństwa, co jest potrzebne do analizy bayesowskiej, takie multiplikatywne stałe po prostu kasują! więc są one wyraźnie nieistotne dla wnioskowania bayesowskiego. Podobnie, anuluje się przy obliczaniu ilorazów wiarygodności, stosowanych w optymalnych testach hipotez (lemat Neymana-Pearsona). I nie będzie miało wpływu na wartość estymatorów maksymalnego prawdopodobieństwa. Widzimy więc, że w wielu wnioskach częstych nie może odgrywać żadnej roli.

Możemy się kłócić z jeszcze innego punktu widzenia. Funkcja prawdopodobieństwa Bernoulliego (dalej używamy terminu „gęstość”) powyżej jest tak naprawdę gęstością w odniesieniu do miary zliczania, to jest miary liczb całkowitych nieujemnych o masie jeden dla każdej liczby całkowitej nieujemnej. Ale moglibyśmy zdefiniować gęstość w odniesieniu do innej dominującej miary. W tym przykładzie będzie to wydawać się (i jest) sztuczne, ale w większych przestrzeniach (przestrzeniach funkcyjnych) jest to naprawdę fundament! Dla celów ilustracji użyjmy określonego rozkładu geometrycznego, zapisanego , z , , i wkrótce. Następnie gęstość rozkładu Bernoulliego w odniesieniu do$\lambda$$\lambda(0)=1/2$$\lambda(1)=1/4$$\lambda(2)=1/8$$\lambda$f λ ( x ) = s x ( 1 - p ) 1 - x ⋅ 2 x + 1 P ( X = x ) = f λ ( x ) ⋅ λjest podane przez co oznacza, że Z tą nową, dominującą miarą funkcja prawdopodobieństwa staje się (z notacją z góry) zwróć uwagę na dodatkowy czynnik . Tak więc przy zmianie miary dominującej stosowanej w definicji funkcji prawdopodobieństwa powstaje nowa stała multiplikatywna, która nie zależy od nieznanego parametru

$$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$$ $$P(X=x)= f_\lambda(x) \cdot \lambda(x)$$ $$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$$ $2^{y+n}$$p$i jest wyraźnie nieistotny. To kolejny sposób na sprawdzenie, jak stałe multiplikatywne muszą być nieistotne. Argument ten można uogólnić za pomocą pochodnych Radon-Nikodym (jako argument powyżej jest przykładem.)

Zasadniczo oznacza to, że liczy się tylko względna wartość pliku PDF. Na przykład standardowy normalny (gaussowski) plik PDF to: , twoja książka mówi, że mogą użyć , ponieważ nie dbają o skalę, tj. .g(x)=e-x2/2c=$f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$$g(x)=e^{-x^2/2}$$c=\frac{1}{\sqrt{2\pi}}$

Dzieje się tak dlatego, że funkcja maksymalnego prawdopodobieństwa i i będą mieć ten sam maksymalny. Stąd maksimum będzie takie samo jak dla . Więc nie przejmują się skalą.g ( x ) e - x 2 / 2 F ( x $c\cdot g(x)$$g(x)$$e^{-x^2/2}$$f(x)$

Nie mogę wyjaśnić znaczenia cytatu, ale dla oszacowania maksymalnego prawdopodobieństwa nie ma znaczenia, czy zdecydujemy się znaleźć maksimum funkcji prawdopodobieństwa (traktowanej jako funkcja lub maksimum gdzie jest pewną stałą. Jest tak, ponieważ nie interesuje nas maksymalna wartość a raczej wartość gdzie występuje to maksimum, a zarówno i osiągają maksymalną wartość przy tym samym θ a L ( x ; θ ) a L ( x ; θ ) θ ML L ( x ; θ ) a L ( x ; θ ) θ ML g ( ⋅ ) L ( x ; θ ) g ( L ( x ; θ ) ) θ ML a $L(\mathbf x; \theta)$$\theta$$aL(\mathbf x; \theta)$$a$$L(\mathbf x; \theta)$$\theta_{\text{ML}}$$L(\mathbf x; \theta)$$aL(\mathbf x; \theta)$$\theta_{\text{ML}}$. Stałe multiplikatywne można więc zignorować. Podobnie, możemy wybrać dowolną funkcję monotoniczną (taką jak logarytm) funkcji wiarygodności , określić maksimum i wywnioskuj z tego wartość . Dla logarytmu stała multiplikatywna staje się stałą addytywną i to również można zignorować w procesie znajdowania położenia maksimum: jest zmaksymalizowane w tym samym punkcie co .$g(\cdot)$$L(\mathbf x; \theta)$$g(L(\mathbf x;\theta))$$\theta_{\text{ML}}$$a$$\ln(a)$$\ln(a)+\ln(L(\mathbf x; \theta)$$\ln(L(\mathbf x; \theta)$

Przechodząc do maksymalnej oceny prawdopodobieństwa a posteriori (MAP), jest uważana za realizację zmiennej losowej z funkcją gęstości a priori , dane są uważane za realizację zmienna losowa , a funkcja prawdopodobieństwa jest uważana za wartość gęstości warunkowej z uwarunkowanej na ; wspomniana funkcja gęstości warunkowej jest oceniana w . The$\theta$$\Theta$$f_{\Theta}(\theta)$$\mathbf x$$\mathbf X$$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$\mathbf X$$\Theta = \theta$$\mathbf x$gęstość a posteriori dla wynosi w którym rozpoznajemy licznik jako łączną gęstość danych i szacowanego parametru. Punkt gdzie osiąga maksymalną wartość, jest oszacowaniem MAP , i przy użyciu tych samych argumentów jak w akapicie widzimy, że możemy zignorować po prawej stronie$\Theta$

$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$$ $f_{\mathbf X, \Theta}(\mathbf x, \theta)$$\theta_{\text{MAP}}$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$$\theta$$[f_{\mathbf X}(\mathbf x)]^{-1}$$(1)$jako stała multiplikatywna, tak jak możemy ignorować stałe multiplikatywne zarówno w iw . Podobnie, gdy wykorzystywane są prawdopodobieństwa dziennika, możemy zignorować stałe addytywne.$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$f_\Theta(\theta)$

Mówiąc ogólnie, często szukasz maksymalnego prawdopodobieństwa, a i dzielą te same punkty krytyczne.$f(x)$$kf(x)$

Sugerowałbym, aby nie pomijać żadnych stałych terminów w funkcji prawdopodobieństwa (tj. Terminów, które nie zawierają parametrów). W zwykłych okolicznościach nie wpływają one na prawdopodobieństwa, jak już wspomniano. Ale: $\text {argmax}$

Mogą zaistnieć niezwykłe okoliczności, kiedy będziesz musiał zmaksymalizować prawdopodobieństwo z zastrzeżeniem pułapu - a wtedy powinieneś „pamiętać” o uwzględnieniu jakichkolwiek stałych w obliczeniach jego wartości.

Ponadto możesz przeprowadzać testy wyboru modelu dla modeli nie zagnieżdżonych, wykorzystując wartość prawdopodobieństwa w procesie - a ponieważ modele nie są zagnieżdżone, dwa prawdopodobieństwa będą miały różne stałe.

Poza tym zdanie

„Ponieważ prawdopodobieństwo jest określone tylko do multiplikatywnej stałej proporcjonalności (lub dodatkowej stałej dla logarytmu prawdopodobieństwa)”

jest źle , bo prawdopodobieństwo jest pierwszy wspólna funkcja gęstości prawdopodobieństwa , a nie tylko „any” funkcja celu mają być zmaksymalizowane.