Jakie jest intuicyjne znaczenie podłączania losowej zmiennej do własnego pliku pdf lub cdf?

Plik pdf jest zwykle zapisywany jako $f(x|\theta)$, gdzie małe litery $x$ jest traktowany jako realizacja lub wynik zmiennej losowej $X$który ma ten pdf. Podobnie plik cdf jest zapisywany jako$F_X(x)$, co ma znaczenie $P(X<x)$. Jednak w niektórych okolicznościach, takich jak definicja funkcji score i to wyprowadzenie, że cdf jest równomiernie rozłożony , wydaje się, że zmienna losowa$X$jest podłączany do własnego pliku pdf / cdf; w ten sposób otrzymujemy nową zmienną losową $Y=f(X|\theta)$ lub $Z=F_X(X)$. Nie sądzę, abyśmy mogli to nazwać pdf lub cdf, ponieważ jest to teraz sama zmienna losowa, aw tym drugim przypadku „interpretacja”$F_X(X)=P(X<X)$ wydaje mi się nonsensem.

Ponadto w powyższym ostatnim przypadku nie jestem pewien, czy rozumiem stwierdzenie „cdf zmiennej losowej ma rozkład równomierny”. Plik cdf jest funkcją, a nie zmienną losową, dlatego nie ma rozkładu. Raczej to, co ma jednolity rozkład, to zmienna losowa przekształcona za pomocą funkcji reprezentującej jej własny plik cdf, ale nie rozumiem, dlaczego ta transformacja jest znacząca. To samo dotyczy funkcji score, w której podłączamy losową zmienną do funkcji, która reprezentuje własne prawdopodobieństwo dziennika.

Od tygodni niszczę mózg, próbując znaleźć intuicyjne znaczenie dla tych przemian, ale utknąłem. Wszelkie informacje będą mile widziane!

Jak mówisz, każda (mierzalna) funkcja zmiennej losowej jest sama zmienną losową. Łatwiej jest po prostu pomyśleć$f(x)$ i $F(x)$jako „dowolna stara funkcja”. Po prostu mają jakieś fajne właściwości. Na przykład jeśli$X$ jest standardową wykładniczą RV, wtedy nie ma nic szczególnie dziwnego w zmiennej losowej

$$Y = 1 - e^{-X}$$ Tak się po prostu dzieje $Y=F_X(X)$. Fakt, że$Y$ ma jednolity rozkład (biorąc pod uwagę, że $X$ jest ciągłym RV) można zobaczyć w ogólnym przypadku, wyprowadzając CDF z $Y$.

$$\begin{align*} F_Y(y) &= P(Y \leq y) \\ &= P(F_X(X) \leq y) \\ &= P(X \leq F^{-1}_X(y)) \\ &= F_X(F^{-1}_X(y)) \\ &= y \end{align*}$$

Który jest wyraźnie CDF z $U(0,1)$zmienna losowa. Uwaga: ta wersja dowodu zakłada, że$F_X(x)$ jest stale rosnąca i ciągła, ale nie jest o wiele trudniej pokazać bardziej ogólną wersję.

Przekształcić zmiennej losowej$X$ przez mierzalną funkcję $T:\mathcal{X}\longrightarrow\mathcal{Y}$ jest kolejną zmienną losową $Y=T(X)$ którego rozkład daje odwrotna transformata prawdopodobieństwa

$$\mathbb{P}(Y\in A) = \mathbb{P}(X\in\{x;\,T(x)\in A\})\stackrel{\text{def}}{=} \mathbb{P}(X\in T^{-1}(A))$$ dla wszystkich zestawów $A$ takie, że $\{x;\,T(x)\in A\}$ jest mierzalne przy rozkładzie $X$.

Ta właściwość dotyczy specjalnego przypadku, gdy $F_X:\mathcal{X}\longrightarrow[0,1]$ to cdf zmiennej losowej $X$: $Y=F_X(X)$ jest nową zmienną losową uwzględniającą jej realizację $[0,1]$. Zdarza się,$Y$ jest rozpowszechniany jako jednolity $\mathcal{U}([0,1])$ kiedy $F_X$jest ciągły. (Gdyby$F_X$ jest nieciągły, zakres $Y=F_X(X)$ już nie jest $[0,1]$. Zawsze tak jest, kiedy$U$ jest mundurem $\mathcal{U}([0,1])$, następnie $F_X^{-}(U)$ ma taki sam rozkład jak $X$, gdzie $F_X^{-}$ oznacza uogólnioną odwrotność $F_X$. Który jest formalnym sposobem (a) zrozumienia zmiennych losowych jako mierzalnych przekształceń fundamentalnych$\omega\in\Omega$ od $X(\omega)=F_X^{-}(\omega)$ jest zmienną losową z cdf $F_X$i (b) generować losowe zmienne z danego rozkładu za pomocą cdf$F_X$.)

Aby zrozumieć paradoks $\mathbb{P}(X\le X)$, weź reprezentację

$$F_X(x)=\mathbb{P}(X\le x)=\int_0^x \text{d}F_X(x) = \int_0^x f_X(x)\,\text{d}\lambda(x)$$ gdyby $\text{d}\lambda$ jest miarą dominującą i $f_X$odpowiednia gęstość. Następnie $$F_X(X)=\int_0^X \text{d}F_X(x) = \int_0^X f_X(x)\,\text{d}\lambda(x)$$ jest zmienną losową, ponieważ górna granica całki jest losowa. (Jest to jedyna losowa część wyrażenia.) Pozorna sprzeczność w$\mathbb{P}(X\le X)$wynika z pomieszania notacji. Aby właściwie zdefiniować, potrzebne są dwie niezależne wersje zmiennej losowej$X$, $X_1$ i $X_2$, w którym to przypadku zmienna losowa $F_X(X_1)$ jest zdefiniowany przez $$F_X(X_1)=\mathbb{P}^{X_2}(X_2\le X_1)$$ prawdopodobieństwo jest obliczane dla rozkładu $X_2$.

Ta sama uwaga dotyczy transformacji według gęstości (pdf), $f_X(X)$, która jest nową zmienną losową, z tym wyjątkiem, że nie ma ustalonego rozkładu kiedy $f_X$różni się Jest to jednak przydatne do celów statystycznych, biorąc pod uwagę na przykład współczynnik prawdopodobieństwa$f_X(X|\hat{\theta}(X))/f_X(X|\theta_0)$ który 2 x logarytm jest w przybliżeniu a $\chi^2$ zmienna losowa w niektórych warunkach.

To samo dotyczy funkcji score

$$\dfrac{\partial \log f_X(X|\theta)}{\partial \theta}$$ która jest zmienną losową, tak że jej oczekiwanie wynosi zero, jeśli zostanie przyjęte przy prawdziwej wartości parametru $\theta$tzn. $$\mathbb{E}_{\theta_0}\left[ \dfrac{\partial \log f_X(X|\theta_0)}{\partial \theta}\right]=\int \dfrac{\partial \log f_X(x|\theta_0)}{\partial \theta}f_X(x|\theta_0)\,\text{d}\lambda(x)=0$$

[Odpowiedź wpisana podczas gdy @whuber i @knrumsey wpisywali swoje odpowiedzi!]