Generowanie danych za pomocą danej macierzy kowariancji próbki

Biorąc pod uwagę macierz kowariancji $\boldsymbol \Sigma_s$ , w jaki sposób wygenerować dane, aby miała przykładową macierz kowariancji $\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s$ ?

Mówiąc bardziej ogólnie: często jesteśmy zainteresowani generowaniem danych z gęstości $f(x \vert \boldsymbol\theta)$ , z danymi $x$ podanymi parametrami wektorowymi $\boldsymbol\theta$ . Daje to próbkę, z której możemy następnie ponownie oszacować wartość $\boldsymbol{\hat\theta}$ . Interesuje mnie odwrotny problem: co, jeśli otrzymamy zestaw parametrów $\boldsymbol\theta_{s}$ i chcielibyśmy wygenerować próbkę $x$ taką, że $\boldsymbol{\hat\theta} = \boldsymbol\theta_{s}$ .

Czy to znany problem? Czy taka metoda jest przydatna? Czy algorytmy są dostępne?

Istnieją dwie różne typowe sytuacje dla tego rodzaju problemów:

i) chcesz wygenerować próbkę z danego rozkładu, którego charakterystyka populacji jest zgodna z określonymi (ale ze względu na zmienność próbkowania nie masz dokładnie takich samych charakterystyk próby).

ii) chcesz wygenerować próbkę, której charakterystyka próbki jest zgodna z podaną (ale z powodu ograniczeń dokładnie dopasowanych ilości próbek do wcześniej określonego zestawu wartości, tak naprawdę nie pochodzą one z pożądanego rozkładu).

Chcesz drugiego przypadku - ale otrzymujesz go, stosując to samo podejście, co pierwszy przypadek, z dodatkowym krokiem standaryzacji.

Tak więc w przypadku wielowymiarowych normalnych można to zrobić w dość prosty sposób:

W pierwszym przypadku możesz użyć losowych normalnych bez struktury populacji (takich jak iid normalna normalna, które mają oczekiwanie 0 i macierz kowariancji tożsamości), a następnie narzucić je - przekształć, aby uzyskać macierz kowariancji i oznaczać, że chcesz. Jeśli i są średnią populacji i kowariancję, której potrzebujesz, a jest w normie normalna, obliczasz , dla niektórych gdzie (np. Odpowiedni można uzyskać poprzez rozkład Cholesky'ego) . Zatem ma pożądaną charakterystykę populacji.$\mu$z y = L z + μ L L L ′ = Σ L $\Sigma$$z$$y=Lz+\mu$$L$$LL'=\Sigma$$L$$y$

W drugim przypadku musisz najpierw przekształcić losowe normalne, aby usunąć nawet losową zmienność z dala od kowariancji średniej zerowej i tożsamości (co oznacza, że ​​próbka oznacza zero i kowariancję próbki ), a następnie postępuj jak poprzednio. Ale ten początkowy etap usuwania odchylenia próbki od dokładnej średniej , wariancja zakłóca rozkład. (W małych próbkach może być dość ciężki.) 0 $I_n$$0$$I$

Można tego dokonać odejmując średnią próbki ( ) i obliczając rozkład Cholesky'ego . Jeśli jest lewym czynnikiem Cholesky'ego, to powinno mieć średnią próbki 0 i kowariancję próbki tożsamości. Następnie możesz obliczyć i uzyskać próbkę z żądanymi momentami próbki. (W zależności od tego, jak zdefiniowane są twoje próbki, może być bardzo małe skrzypienie związane z mnożeniem / dzieleniem przez czynniki takie jak , ale łatwo jest zidentyfikować tę potrzebę.)z ∗ = z - ˉ z z ∗ L ∗ z ( 0 ) = ( L ∗ ) - 1 z ∗ y = L z ( 0 ) + μ $z$$z^*=z-\bar z$$z^*$$L^*$$z^{(0)}=(L^*)^{-1}z^*$$y=Lz^{(0)}+\mu$$\sqrt{\frac{n-1}{n}}$

@Glen_b dał dobrą odpowiedź (+1), którą chcę zilustrować za pomocą kodu.

Jak generowania próbek z -wymiarowej wielowymiarowej rozkładu Gaussa z danym macierzy kowariancji ? Łatwo to zrobić, generując próbki ze standardowego gaussowskiego i mnożąc je przez pierwiastek kwadratowy macierzy kowariancji, np. Przez . Jest to omówione w wielu wątkach na CV, np. Tutaj: Jak wygenerować dane z uprzednio określoną macierzą korelacji? Oto prosta implementacja Matlaba:d Σ c h o l ( Σ $n$$d$$\boldsymbol \Sigma$$\mathrm{chol}(\boldsymbol \Sigma)$

n = 100;
d = 2;
Sigma = [ 1    0.7  ; ...
          0.7   1   ];
rng(42)
X = randn(n, d) * chol(Sigma);

Przykładowa macierz kowariancji uzyskanych danych nie będzie oczywiście dokładnie ; np. w powyższym przykładzie zwraca$\boldsymbol \Sigma$cov(X)

1.0690    0.7296
0.7296    1.0720

Jak wygenerować dane z wcześniej określoną macierzą korelacji lub kowariancji próbki ?

Jak napisał @Glen_b, po wygenerowaniu danych ze standardowego Gaussa wyśrodkuj, wybiel i zestandaryzuj go, aby miał przykładową macierz kowariancji ; tylko wtedy pomnóż go przez .c h o l ( Σ $\mathbf I$$\mathrm{chol}(\boldsymbol \Sigma)$

Oto kontynuacja mojego przykładu Matlaba:

X = randn(n, d);
X = bsxfun(@minus, X, mean(X));
X = X * inv(chol(cov(X)));
X = X * chol(Sigma);

Teraz cov(X), zgodnie z wymaganiami, powraca

1.0000    0.7000
0.7000    1.0000