Asymptotyczny rozkład wielomianu

10

Szukam ograniczającego rozkładu wielomianowego w porównaniu do wyników d. IE, dystrybucja następujących

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

Gdzie $\mathbf{X_n}$ jest losową zmienną o wartości wektorowej o gęstości $f_n(\mathbf{x})$ dla $\mathbf{x}$ taką, że $\sum_i x_i=n$ , $x_i\in \mathbb{Z}, x_i\ge 0$ i 0 dla wszystkich innych $\mathbf{x}$ , gdzie

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

Znalazłem jedną formę w Twierdzeniu Larry'ego Wassermana „All of Statistics” 14.6, strona 237, ale dla ograniczenia rozkładu daje Normal z pojedynczą macierzą kowariancji, więc nie jestem pewien, jak to znormalizować. Mógłbyś rzutować losowy wektor na przestrzeń wymiarową (d-1), aby uzyskać pełną rangę macierzy kowariancji, ale jakiej projekcji użyć?

Aktualizacja 11/5

Ray Koopman ma ładne podsumowanie problemu pojedynczego Gaussa. Zasadniczo pojedyncza macierz kowariancji reprezentuje idealną korelację między zmiennymi, której nie można przedstawić za pomocą Gaussa. Można jednak uzyskać rozkład Gaussa dla gęstości warunkowej, uwarunkowany faktem, że wartość wektora losowego jest poprawna (składowe sumują się do $n$ powyższym przypadku).

Różnica dla warunkowego Gaussa polega na tym, że odwrotność jest zastępowana pseudo-odwrotnością, a czynnik normalizacyjny używa „iloczynu niezerowych wartości własnych” zamiast „iloczynu wszystkich wartości własnych”. Ian Frisce podaje link do niektórych szczegółów.

Istnieje również sposób wyrażenia współczynnika normalizacji warunkowego Gaussa bez odwoływania się do wartości własnych, oto pochodna

asymptotics multinomial

— Jarosław Bułatow
źródło

Co dokładnie masz na myśli przez ograniczenie dystrybucji w tym przypadku?

— Robby McKilliam

tzn. ten, który otrzymałeś z Central Limit Theorem, pozwól mi zaktualizować szczegóły

— Jarosław Bułatow

1

To, o czym mówisz, to asymptotyczny rozkład estymatora maksymalnego prawdopodobieństwa wielomianu. Pierwszym równaniem powinno być n ^ {- 1}, a nie n ^ {- 1/2}.

— Simon Byrne,

1

W powyższej notacji, dla d = 2, X_n jest liczbą głów po n rzutach monety, więc X_n / sqrt (n) zbliża się do Normalnego, a nie X_n / n, nie?

— Yaroslav Bulatov

1

Tak, masz rację. Po prostu się myliłem.

— Simon Byrne,

6

Kowariancja jest nadal nieujemna określona (podobnie jak prawidłowy wielowymiarowy rozkład normalny ), ale nie jest dodatnia określona: oznacza to, że (przynajmniej) jeden element losowego wektora jest liniową kombinacją pozostałych.

W rezultacie każde losowanie z tego rozkładu zawsze będzie leżeć w podprzestrzeni . W konsekwencji oznacza to, że nie można zdefiniować funkcji gęstości (ponieważ rozkład koncentruje się na podprzestrzeni: pomyśl o tym, w jaki sposób jednowymiarowa norma skoncentruje się na średniej, jeśli wariancja wynosi zero). $R^d$

Jednak, jak sugeruje Robby McKilliam, w tym przypadku możesz upuścić ostatni element losowego wektora. Macierz kowariancji tego zredukowanego wektora będzie pierwotną macierzą, z opuszczoną ostatnią kolumną i rzędem, która będzie teraz dodatnia i będzie miała gęstość (ta sztuczka zadziała w innych przypadkach, ale musisz uważać, który element upuszczasz i może być konieczne upuszczenie więcej niż jednego).

— Simon Byrne
źródło

To, co jest nieco niezadowalające, to swoboda wyboru. Aby uzyskać prawidłową gęstość, muszę poprosić o rozkład wartości A x, gdzie A jest macierzą rangi d-1 (d) x (d-1). Czy błąd aproksymacji CLT dla skończonej n będzie równoważny dla wszystkich wyborów A? To nie jest dla mnie jasne

— Jarosław Bułatow

1

Tak, błąd powinien być zawsze taki sam. Należy pamiętać, że ostatni element wektora jest funkcjonalnie zależny od innych elementów (d-1) (zarówno w przypadku próbki skończonej, jak i przypadków asymptotycznych).

— Simon Byrne,

Nie chodzi o to, że „ostatni” element jest zależny, problem Yaroslava polega na tym, że nie podoba mu się pomysł wyboru, który element należy usunąć. Zgadzam się z odpowiedzią, której udzieliłeś, ale uważam również, że wymaga to nieco więcej przemyślenia i uwagi.

— Robby McKilliam

@Yaroslav: Być może dobrze byłoby mieć pojęcie o tym, jaką aplikację masz tutaj na myśli, ponieważ na tym etapie istnieje potencjalnie wiele odpowiedzi na twoje pytanie.

— Robby McKilliam

1

Robby - aplikacja, którą miałem na myśli, jest tutaj mathoverflow.net/questions/37582/... Zasadniczo całki Gaussa sugerowane przez CLT dają bardzo dobre przybliżenie sum dwumianowych współczynników (dla małych n, nawet lepszych niż bezpośrednie integrowanie reprezentacji gamma!), więc widziałem, czy mogę zrobić coś podobnego, aby uzyskać przybliżone sumy współczynników wielomianowych, których potrzebuję, aby uzyskać niesymptotyczne granice błędów dla różnych instalatorów (jak, maksymalne prawdopodobieństwo)

— Jarosław Bułatow

2

Nie ma tutaj nieodłącznego problemu z pojedynczą kowariancją. Twój asymptotyczny rozkład jest osobliwą normą. Zobacz http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html, który podaje gęstość pojedynczej normy.

— Ian Fiske
źródło

Technicznie problem polega na tym, że pojedyncza macierz kowariancji oznacza, że pewien podzbiór zmiennych jest doskonale skorelowany, więc gęstość prawdopodobieństwa powinna wynosić dokładnie 0 w niektórych obszarach, ale nie jest to możliwe w przypadku Gaussa. Jednym z rozwiązań jest zamiast tego przyjrzenie się gęstości warunkowej, uwarunkowanej faktem, że zmienna losowa leży w możliwym do wykonania regionie. Wygląda na to, co robią w łączu. Nigdy nie słyszałem terminu „G-inverse”, domyślam się, że to pseudo-inwersja Penrose-Moore?

— Yaroslav Bulatov

Chociaż prawdą jest, że konwencjonalny Gaussian d-wymiarowy ma wsparcie dla wszystkich , pojedynczy Gaussian nie. G-odwrotność jest uogólniona odwrotnością i tak, uważam, że definicja Penrose-Moore działa tutaj. Myślę, że istnieje CLT dla pojedynczych kowariancji, stwierdzający zgodnie z oczekiwaniami, zbieżność w dystrybucji do pojedynczego CLT, chociaż nie mogę teraz znaleźć referencji.

ℜ^{d}

$\Re^d$

— Ian Fiske

1

Wydaje mi się, że macierz kowariancji Wassermana jest liczbą pojedynczą, aby zobaczyć, pomnożyć ją przez wektor jedyników, tj. długości . $d$ $[1,1,1,\dots,1]^\prime$ $d$

Wikipedia i tak podaje tę samą macierz kowariancji. Jeśli ograniczymy się tylko do rozkładu dwumianowego, wówczas standardowe centralne twierdzenie o limicie mówi nam, że rozkład dwumianowy (po odpowiednim skalowaniu) zbliża się do normalnego, gdy staje się duże (zobacz ponownie wikipedię ). Stosując podobne pomysły, powinieneś być w stanie wykazać, że odpowiednio wyskalowany mulinomial będzie zbieżny w rozkładzie do wielowymiarowej normalnej, tj. Każdy rozkład brzeżny jest tylko dwumianowy i zbiega się do rozkładu normalnego, a wariancja między nimi jest znana. $n$

Jestem więc bardzo pewien, że przekonasz się, że rozkład zbieżny z wielowymiarową normalną z zerową średnią i kowariancją gdzie jest kowariancją macierz omawianego wielomianu jest wektorem prawdopodobieństw .

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— Robby McKilliam
źródło

1

ale macierz kowariancji omawianego wielomianu jest pojedyncza, sam to pokazałeś ...

— Jarosław Bułatow

Och, widzę twój problem! Jeden z elementów, powiedzmy, że jest całkowicie zależny od innych. Prawdopodobnie, jeśli odetniesz ostatni wiersz i kolumnę , dostaniesz, że są normalnie rozmieszczone, ale będę musiał o tym pomyśleć. Z pewnością gdzieś już to rozwiązano!

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

— Robby McKilliam,

Jedną z sugestii, które znalazłem, jest użycie Gaussa, ale zamiast pseudo-odwrotności zamiast pseudo-odwrotnej i „iloczynu niezerowych wartości własnych”. Dla d = 2 wydaje się, że daje to prawidłową formę gęstości, ale współczynnik normalizacji jest wyłączony

— Jarosław Bułatow

1

Czy to nie jest tak, żewszystkie , gdzie jest macierzą kowariancji wielomianu z -tego wiersza i kolumny usuwa? Ponieważ tak jest, nie rozumiem, co rozumiesz przez „wolność wyboru”, ponieważ każdy „wybór” jest równoważny. $|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— jvdillon
źródło

Te macierze nie są równe, oto macierz kowariancji yaroslavvb.com/upload/multinomial-covariance-matrix.png

— Jarosław

Tak, to jest rzeczywiście macierz kowariancji. Chodziło mi o usunięcie i-tej kolumny i wiersza w wyniku tego samego terminu normalizacji dla Gaussa. Może brakuje mi czegoś oczywistego?

— jvdillon

Ach ... nie zauważyłem znaku determinującego. Hm ... wydają się one równe w niektórych przykładach, których próbowałem, czy jest na to prosty dowód? Wartości własne nie są jednak równe. Motywacją pytania było ustalenie, czy centralne twierdzenie graniczne daje taki sam błąd aproksymacji dla skończonej niezależnie od tego, który dystans wielomianowy. składnik, który upuszczasz

n

$n$

— Jarosław Bułatow

Prawdopodobnie najprostszym sposobem, aby przekonać się, że i wtyczki, że dla w .

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

— jvdillon

BTW, podoba mi się twoje zastosowanie tego pomysłu - stąd moje zainteresowanie odpowiedzią.

— jvdillon