Asymptotyczna normalność formy kwadratowej

Niech być losowy wektor wyciągnąć . Rozważmy próbki . Zdefiniuj i . Niech i . $\mathbf{x}$ $P$ $\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P$ $\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i$ $\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top$ $\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]$ $C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}]$

Przyjmij, że według centralnego twierdzenia granicznego

\sqrt{n} ({\bar{x}}_{n} - μ) \overset{d}{\to} N (0, C),

$\sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C),$

gdzie $C$ jest macierzą kowariancji pełnej rangi.

Pytanie : Jak to udowodnić (lub obalić)

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

dla niektórych $v>0$ , a dla niektórych $\gamma_n \ge 0$ takich, że $\lim_{n\to \infty} \gamma_n =0$ ? To wygląda prosto. Ale nie mogłem dokładnie wymyślić, jak to pokazać. To nie jest zadanie domowe.

Rozumiem, że metoda delta pozwoliłaby nam łatwo dojść do wniosku

\sqrt{n} ({\bar{x}}_{n}^{⊤} C^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top C^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

lub

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} (\hat{C} + γ_{n} I)^{- 1} μ) \overset{d}{\to} N (0, v^{2}) .

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top (\hat{C} + \gamma_n I)^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2).$

Są one nieco inne niż to, czego chcę. Zwróć uwagę na macierze kowariancji w dwóch terminach. Czuję, że tęsknię za czymś bardzo trywialnym. Alternatywnie, jeśli to wszystko , możemy również zignorować tj. Ustawić i założyć, że jest odwracalny. Dzięki. $\gamma_n$ $\gamma_n =0$ $\hat{C}$

— wij
źródło

Musimy wiedzieć coś o tym, jak idzie do 0. Czy jest to ciąg stałych? Myślę, że najpierw musisz pokazać co myślę, że jest wynikiem Slutsky'ego. Następnie napisałbym jako . ma rozkład ograniczający, który można znaleźć za pomocą metody . Na koniec możesz spróbować pokazać, że ma prawdopodobieństwo 0. Chociaż nie jestem pewien, czy to się utrzymuje ...

γ_{n}

$\gamma_n$

{\bar{x}}_{n}^{T} γ_{n} I {\bar{x}}_{n} \to_{p} 0

$\bar{x}_n^T \gamma_n I \bar{x}_n \rightarrow_p 0$

\hat{C}

$\hat{C}$

C + bias (\hat{C})

$C + \text{bias}(\hat{C})$

{\bar{x}}_{n}^{T} C {\bar{x}}_{n}

$\bar{x}_n^T C \bar{x}_n$

δ

$\delta$

{\bar{x}}_{n}^{T} bias (\hat{C}) {\bar{x}}_{n}

$\bar{x}_n^T \text{bias}(\hat{C}) \bar{x}_n$

— AdamO

γ_{n}

$\gamma_n$ jest ciągiem stałych (nieprzypadkowych). Sekwencję można ustawić na dowolną, która powoduje, że konwergencja działa (jeśli taka sekwencja istnieje). Myślę, że jest prawdą. Nie śledziłem, dlaczego najpierw tego potrzebujemy. Ale pozwól mi pomyśleć o tym i resztę więcej. :)

{\bar{x}}_{n}^{⊤} I {\bar{x}}_{n} \overset{p}{\to} 0

$\bar{x}_n^\top I \bar{x}_n \stackrel{p}{\to} 0$

— wij

Nie wspomniałem: twoje wahanie, aby bezpośrednio zastosować metodę i nazwać to zrobione, jest dobrze uzasadnione. Myślę, że możesz to napisać ostrożnie. Przydatnymi twierdzeniami dla tego rodzaju dowodów są twierdzenie Slutsky'ego, ciągłe mapowanie Manna-Walda oraz twierdzenie Cramera-Wolda.

δ

$\delta$

— AdamO,

Zgadzam się, że wspomniane wyniki mogą być przydatne. Nadal nie wiem, jak to zrobić. Właściwie zaczynam też myśleć, że rozkład asymptotyczny może nie być rozkładem normalnym.

— wij

Wydaje się, że jest to bardziej skomplikowane niż się wydaje. Artykuł arXiv opisuje tutaj to, co dzieje się w wysokich wymiarach. Nie mogę znaleźć analogu o ustalonym wymiarze, ale w części 3 znajdują się argumenty o skończonym wymiarze.

— Greenparker

Korzystanie z metody Delta ma pewne trudności. Wygodnie jest uzyskać go ręcznie.

Przez Prawo wielkich liczb, . Stąd . Zastosuj twierdzenie Słuckiego, mamy Poprzez twierdzenie o ciągłym odwzorowywaniu mamy Stąd Według twierdzenia Słuckiego mamy Łącząc powyższe dwa zbiory równości $\hat{C}\xrightarrow{P} C$ $\hat{C} +\gamma_n I\xrightarrow{P} C$

\sqrt{n} (\hat{C} + γ_{n} I)^{- 1 / 2} (\bar{X} - μ) \overset{d}{\to} N (0, C^{- 1}) .

$\sqrt{n}(\hat{C} +\gamma_n I)^{-1/2}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,C^{-1}).$

n (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} \sum_{i = 1}^{p} λ_{i}^{- 1} (C) χ_{1}^{2} .

${n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\sum_{i=1}^p \lambda_i^{-1}(C)\chi^2_1.$

\sqrt{n} (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{P}{\to} 0.

$\sqrt{n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{P}0.$

\sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} N (0, μ^{T} C^{- 2} μ) .

$\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,\mu^T C^{-2}\mu).$

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ) \\ = & \sqrt{n} ((\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) - 2 μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ)) \\ = & - 2 \sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) + o_{P} (1) \\ \overset{d}{\to} & N (0, 4 μ^{T} C^{- 2} μ) . \end{aligned}

$\begin{align} &\sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T (\hat{C} +\gamma_n I)^{-1}\mu\big) \\ = &\sqrt{n}\Big((\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)-2\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\Big) \\ =&-2\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)+o_P(1) \\ \xrightarrow{d}&\mathcal{N} (0,4\mu^T C^{-2}\mu). \end{align}$ Pozostałym zadaniem jest poradzenie sobie z Niestety, ten termin dawka NIE zbliża się do . Zachowanie staje się skomplikowane i zależy od trzeciego i czwartego momentu.

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big).$

0

$0$

Mówiąc , poniżej zakładamy, że są normalnie rozproszone i . Jest to standardowy wynik, że gdzie jest symetryczną macierzą losową z elementami ukośnymi jak i elementy poziome jako . Tak więc Według rozwinięcia macierzy Taylor , mamy $X_i$ $\gamma_n=o(n^{-1/2})$

\sqrt{n} (\hat{C} - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

W

$W$

N (0, 2)

$\mathcal{N}(0,2)$

N (0, 1)

$\mathcal{N}(0,1)$

\sqrt{n} (\hat{C} + γ_{n} I - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}+\gamma_n I-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

(I + A)^{- 1} \sim I - A + A^{2}

$(I+A)^{-1}\sim I-A+A^2$

\begin{aligned} \sqrt{n} ((\hat{C} + γ_{n} I)^{- 1} - C^{- 1}) = \sqrt{n} C^{- 1 / 2} ((C^{- 1 / 2} (\hat{C} + γ_{n} I) C^{- 1 / 2})^{- 1} - I) C^{- 1 / 2} \\ = & \sqrt{n} C^{- 1} (\hat{C} + γ_{n} I - C) C^{- 1} + O_{P} (n^{- 1 / 2}) \overset{d}{\to} C^{- 1 / 2} W C^{- 1 / 2} . \end{aligned}

$\begin{align} &\sqrt{n}\Big((\hat{C} +\gamma_n I)^{-1}- C^{-1}\Big)= \sqrt{n}C^{-1/2}\Big(\big(C^{-1/2}(\hat{C} +\gamma_n I)C^{-1/2}\big)^{-1}-I\Big)C^{-1/2}\\ =&\sqrt{n}C^{-1}\Big(\hat{C} +\gamma_n I-C\Big)C^{-1}+O_P(n^{-1/2}) \xrightarrow{d}C^{-1/2} W C^{-1/2}. \end{align}$ Zatem

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) \overset{d}{\to} μ^{T} C^{- 1 / 2} W C^{- 1 / 2} μ \sim N (0, (μ^{T} C^{- 1} μ)^{2}) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big)\xrightarrow{d}\mu^T C^{-1/2} W C^{-1/2}\mu \sim N(0,(\mu^T C^{-1}\mu)^2).$

Tak więc

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} C^{- 1} μ) \overset{d}{\to} N (0, 4 μ^{T} C^{- 2} μ + (μ^{T} C^{- 1} μ)^{2}) . \end{aligned}

$\begin{align} \sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T C^{-1}\mu\big) \xrightarrow{d}\mathcal{N} (0,4\mu^T C^{-2}\mu+(\mu^T C^{-1}\mu)^2). \end{align}$

— kfeng123
źródło

Dziękuję za odpowiedź. To właśnie ten termin, który nie jest zbieżny z 0, sprawia, że całość jest trudna. Niestety nie mogę założyć, że jest zwykle rozpowszechniany. Ale nadal doceniam odpowiedź. Gdybyś mógł skomentować, jak to zależy od trzeciej i czwartej chwili (być może z referencjami), byłoby to pomocne. W tej chwili nie mogę też tego wyjaśnić. Ale czuję, że musi wolniej niż . Muszę ostrożniej przemyśleć przyczynę.

X_{i}

$X_i$

g a m m a_{n}

$gamma_n$

o (n^{- 1 / 2})

$o(n^{-1/2})$

— wij

Zapomniałem dodać, że w moim przypadku można założyć, że żyje w zwartym zestawie (jeśli to konieczne). To może pomóc w chwilowych warunkach.

X_{i}

$X_i$

— wij