Dlaczego wystarczająca statystyka zawiera wszystkie informacje potrzebne do obliczenia oszacowania parametru?

Właśnie zacząłem studiować statystyki i nie mogę intuicyjnie zrozumieć wystarczalności. Mówiąc ściślej, nie rozumiem, jak pokazać, że następujące dwa akapity są równoważne:

Z grubsza, biorąc pod uwagę zestaw X niezależnych identycznie rozmieszczonych danych uwarunkowanych nieznanym parametrem θ, wystarczającą statystyką jest funkcja T (X), której wartość zawiera wszystkie informacje potrzebne do obliczenia dowolnej oceny parametru.

Statystyka T (X) jest wystarczająca dla parametru bazowego θ właśnie wtedy, gdy rozkład prawdopodobieństwa warunkowego danych X, biorąc pod uwagę statystykę T (X), nie zależy od parametru θ.

(Wziąłem cytaty z wystarczającej statystyki )

Chociaż rozumiem drugie stwierdzenie i mogę użyć twierdzenia faktoryzacji, aby pokazać, czy dana statystyka jest wystarczająca, nie rozumiem, dlaczego statystyka z taką właściwością ma również właściwość, że „zawiera wszystkie informacje potrzebne do obliczenia dowolnej oszacowanie parametru ". Nie szukam formalnego dowodu, który pomógłby i tak udoskonalić moje zrozumienie, chciałbym uzyskać intuicyjne wyjaśnienie, dlaczego te dwa stwierdzenia są równoważne.

Podsumowując, moje pytania brzmią: dlaczego te dwa stwierdzenia są równoważne? Czy ktoś mógłby podać intuicyjne wyjaśnienie swojej równoważności?

sufficient-statistics

— gcoll
źródło

Główną intuicyjną ideą jest to, że czasami nie trzeba widzieć całej próbki, ponieważ można znaleźć statystyki podsumowujące wszystkie potrzebne informacje z próbki. Weźmy na przykład rozkład dwumianowy: wszystko, co musisz wiedzieć o swoim modelu, to suma sukcesów. Państwo nie tracą niczego wartościowego, jeśli tylko powiedzieć, że

, zamiast pokazując cały zestaw wartości próbą

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$

— mugen

Rozumiem, dlaczego potrzebowałem wystarczających statystyk i jak pokazać, że suma sukcesów jest wystarczającą statystyką dla pw procesie Bernoulliego. Nie rozumiem, dlaczego statystyki takie jak te opisane w drugim akapicie zawierają wszystkie informacje potrzebne do obliczenia jakiejkolwiek oceny parametru.

— gcoll

Ściśle mówiąc, pierwszy cytat jest po prostu błędny. Istnieje wiele estymatorów, które można obliczyć z całego zestawu danych, których nie można obliczyć wyłącznie na podstawie wystarczających statystyk. To jeden z powodów, dla których cytat zaczyna się „z grubsza”. Innym powodem jest to, że nie podaje ilościowej ani rygorystycznej definicji „informacji”. Ponieważ jednak w poprzednim akapicie podano znacznie dokładniejszą (ale wciąż intuicyjną) charakterystykę, nie ma problemu z tym cytatem we właściwym kontekście.

— whuber

Ma związek z maksymalnym prawdopodobieństwem i jest to zasadniczo informacja potrzebna przy maksymalnym prawdopodobieństwie

— Kamster

Po komentarzach Whuber i @Kamster prawdopodobnie lepiej zrozumiałem. Kiedy mówimy, że wystarczająca statystyka zawiera wszystkie informacje potrzebne do obliczenia dowolnego oszacowania parametru, czy faktycznie mamy na myśli, że wystarczy obliczyć estymator maksymalnego prawdopodobieństwa (który jest funkcją wszystkich wystarczających statystyk)? To prawda, że kwestia ta była związana z (nie) definicją „informacji”, jak sugerował Whuber, i na moje pytanie udzielono odpowiedzi.

— gcoll,

Odpowiedzi:

Po komentarzach @whuber i @Kamster prawdopodobnie lepiej zrozumiałem. Kiedy mówimy, że wystarczająca statystyka zawiera wszystkie informacje potrzebne do obliczenia dowolnego oszacowania parametru, to tak naprawdę rozumiemy, że wystarczy obliczyć estymator maksymalnego prawdopodobieństwa (który jest funkcją wszystkich wystarczających statystyk).

Biorąc pod uwagę, że odpowiadam na własne pytanie i dlatego nie jestem w 100% pewien, że udzielę odpowiedzi, nie oznaczę jej jako poprawnej, dopóki nie otrzymam opinii. Dodaj komentarz i oddaj głos, jeśli uważasz, że się mylę / niedokładnie / itd ...

(Daj mi znać, jeśli nie jest to zgodne z etykietą SE, ponieważ jest to moje pierwsze pytanie, proszę o ułaskawienie, jeśli naruszam jakąkolwiek zasadę)

— gcoll
źródło

Studiując na temat wystarczalności, natknąłem się na twoje pytanie, ponieważ chciałem również zrozumieć intuicję dotyczącą tego, co zebrałem, to właśnie wymyśliłem (daj mi znać, co myślisz, jeśli popełniłem jakieś błędy itp.).

Niech będzie losową próbką z rozkładu Poissona ze średnią . $X_1,\ldots,X_n$ $\theta>0$

Wiemy, że jest wystarczającą statystyką dla , ponieważ rozkład warunkowy dla jest wolny od , innymi słowy, nie zależy od . $T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

Teraz statystyk wie, że i tworzy przypadkowe wartości z tego rozkładu: $A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

Dla wartości, które stworzył statystyk , bierze je sumę i pyta statystyki $A$ $B$ :

„Mam te przykładowe wartości wzięte z rozkładu Poissona. Wiedząc, że $x_1,\ldots,x_n$ $\sum_{i=1}^{n} x_i = y = 4068$ , co możesz mi powiedzieć o tym rozkładzie?”

Zatem sama wiedza o tym, że (oraz fakt, że próbka powstała z rozkładu Poissona) jest wystarczająca, aby statystyk mógł powiedzieć cokolwiek na temat $\sum_{i=1}^{n} x_i = y = 4068$ $B$ $\theta$ ? Ponieważ wiemy, że jest to wystarczająca statystyka, wiemy, że odpowiedź brzmi „tak”.

Aby dowiedzieć się więcej na temat tego znaczenia, wykonaj następujące czynności (zaczerpnięte z „Wprowadzenie do statystyki matematycznej” Hogga & Mckeana i Craiga, wydanie siódme, ćwiczenie 7.1.9):

„ decyduje się stworzyć kilka fałszywych obserwacji, które nazywa (ponieważ wie, że prawdopodobnie nie będą one równe oryginalnym wartościom ) w następujący sposób. Zauważa, że warunkowe prawdopodobieństwo niezależnego Poissona zmienne losowe równe , przy podanym , wynosi $B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{z_{1}} e^{- θ}}{z_{1}!} \frac{θ^{z_{2}} e^{- θ}}{z_{2}!} \dots \frac{θ^{z_{n}} e^{- θ}}{z_{n}!}}{\frac{n θ^{y} e^{- n θ}}{y!}} = \frac{y!}{z_{1}! z_{2}! \dots z_{n}!} {(\frac{1}{n})}^{z_{1}} {(\frac{1}{n})}^{z_{2}} \dots {(\frac{1}{n})}^{z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

$Y=\sum Z_i$ $n \theta$ $y$ $n$ $1/n$ $B$ $y$ $z_1,\ldots,z_n$ „.

Tak stwierdza ćwiczenie. Zróbmy dokładnie to:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

And let's see what $Z$ looks like (I'm also plotting the real density of Poisson(4) for $k=0,1,\ldots,13$ - anything above 13 is pratically zero -, for comparison):

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

So, knowing nothing about $\theta$ and knowing only the sufficient statistic $Y=\sum X_i$ we were able to recriate a "distribution" that looks a lot like a Poisson(4) distribution (as $n$ increases, the two curves become more similar).

Now, comparing $X$ and $Z|y$ :

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

We see that they are pretty similar, as well (as expected)

So, "for the purpose of making a statistical decision, we can ignore the individual random variables $X_i$ and base the decision entirely on the $Y=X_1+X_2+\cdots+X_n$ " (Ash, R. "Statistical Inference: A concise course", page 59).

— Gus_est
źródło

Let me give another perspective that may help. This is also qualitative, but there is a rigorous version of that particularly important in Information Theory - known as Markov property.

In the beginning, we have two objects, data (coming from a Random Variable, call it X) and parameter, $\theta$ (another rv, implicitly assumed since we are talking about its estimator). These two, are assumed to be dependent (otherwise, there is no point in trying to estimate one from the other). Now, the third object enters the game, Sufficient Statistic, T. The intuitive idea when we say T is enough to estimate $\theta$ really means that if we know T (ie conditioned on T), X provides no additional info, that is, X and $\theta$ are independent. In other word, knowledge of X is equivalent to knowledge of T as far as estimation of $\theta$ is concerned. Note that in probabilities are where all the uncertainties are captured, and hence "any estimate" when (conditional) probabilities are independent (eg conditional densities factorize).

— Mahdi
źródło