Różnica między uśrednieniem danych a dopasowaniem i dopasowaniem danych a następnie uśrednieniem

Jeśli istnieje, między dopasowaniem linii do wielu oddzielnych „eksperymentów”, a następnie uśrednieniem pasowań lub uśrednieniem danych z oddzielnych eksperymentów, a następnie dopasowaniem uśrednionych danych. Pozwól mi rozwinąć:

Wykonuję symulacje komputerowe, które generują krzywą, pokazaną poniżej. Wydobywamy ilość, nazwijmy ją „A”, dopasowując region liniowy wykresu (długi czas). Wartość jest po prostu nachyleniem regionu liniowego. Z regresją liniową związany jest oczywiście błąd.

Zazwyczaj przeprowadzamy około 100 takich symulacji w różnych warunkach początkowych, aby obliczyć średnią wartość „A”. Powiedziano mi, że lepiej jest uśrednić surowe dane (z poniższego wykresu) na grupy, powiedzmy 10, następnie dopasować do „A” i uśrednić te 10 „A” razem.

Nie mam intuicji, czy ma to jakąś wartość, czy też jest lepsze niż dopasowanie 100 pojedynczych wartości „A” i uśrednienie ich.

error fitting average

— pragmatist1
źródło

Nie jestem pewien, czy rozumiem: A w różnych momentach, a następnie ? Następnie robisz to kilka razy i bierzesz średnią wszystkich ?

A = β_{0} + β_{1} t

$A= \beta_0 +\beta_1 t$

β_{1}

$\beta_1$

Przepraszam, nie. Powyższy wykres jest wynikiem pojedynczej symulacji (nazwijmy to eksperymentem). Początkowy obszar nieliniowy jest odrzucany, a następnie dopasowujemy linię do części liniowej i uzyskujemy nachylenie „A”. Tak więc jedna cała symulacja daje jedno oszacowanie „A”. Oczywiście moje pytanie dotyczy tego, czy uśrednienie wielu wykresów, a następnie obliczenie A różni się od obliczenia A dla kilku wykresów i uśrednienia ich. Nadzieja, która wyjaśnia.

— pragmatist1

Nie rozumiem, dlaczego miałoby to mieć znaczenie? (jeśli założenia dla regresji liniowej są spełnione)

Wydaje mi się, że dopasowanie nigdy nie idzie źle / nie zbiega się / nie podaje absurdalnie stromych oszacowań z powodu małych eksperymentów? Byłoby to coś, w czym mogłoby pomóc połączenie pierwszego (lub hierarchicznego modelu).

— Björn

Możesz także dopasować wszystkie dane do siebie, ale zawierać jakiś element do rozróżnienia eksperymentów (różne przechwyty dla każdego eksperymentu lub nawet różne nachylenia), coś w stylu liniowego modelu mieszanego. W ten sposób możesz

— oszacować

Odpowiedzi:

Wyobraźmy sobie, że jesteśmy w kontekście danych panelowych, w których występują różnice w czasie oraz między firmami . Pomyśl o każdym okresie jako osobnym eksperymencie. Rozumiem twoje pytanie jako równoważne z oszacowaniem efektu przy użyciu: $t$ $i$ $t$

Zróżnicowanie przekrojowe średnich szeregów czasowych.
Średnie szeregów czasowych zmienności przekroju.

Ogólnie odpowiedź brzmi: nie.

Ustawić:

W moim sformułowaniu możemy traktować każdy okres jako osobny eksperyment. $t$

Powiedzmy, że masz zrównoważony panel długości na firm. Jeśli dzielimy każdy przedział czasu na itp., Możemy zapisać ogólne dane jako: $T$ $n$ $(X_t, \mathbf{y}_t)$

Y = [\begin{matrix} y_{1} \\ y_{2)} \\ \dots \\ y_{n} \end{matrix}] X = [\begin{matrix} X_{1} \\ X_{2)} \\ \dots \\ X_{n} \end{matrix}]

$Y = \begin{bmatrix} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \ldots \\ \mathbf{y}_n \end{bmatrix} \quad \quad X = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_n \end{bmatrix}$

Średnia pasowań:

\begin{aligned} \frac{1}{T.} \sum_{t} b_{t} & = \frac{1}{T.} \sum_{t} {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{t} \\ = \frac{1}{T.} \sum_{t} {S.}_{t}^{- 1} (\frac{1}{n} \sum_{ja} x_{t, ja} y_{t, ja}) gdzie {S.}_{t} = \frac{1}{n} \sum_{ja} x_{t, ja} x_{t, ja}^{'} \end{aligned}

$\begin{align*} \frac{1}{T} \sum_t \mathbf{b}_t &= \frac{1}{T} \sum_t \left(X_t'X_t \right)^{-1} X_t' \mathbf{y}_t \\ &= \frac{1}{T} \sum_t S^{-1}_t \left( \frac{1}{n} \sum_i \mathbf{x}_{t,i} y_{t,i}\right) \quad \text{where } S_t = \frac{1}{n} \sum_i \mathbf{x}_{t,i} \mathbf{x}_{t,i}' \end{align*}$

Dopasowanie średnich:

Zasadniczo nie jest to równe oszacowaniu opartemu na zmienności przekrojowej średnich szeregów czasowych (tj. Między estymatorem).

{(\frac{1}{n} \sum_{ja} {\bar{x}}_{ja} {\bar{x}}_{ja}^{'})}^{- 1} \frac{1}{n} \sum_{ja} {\bar{x}}_{ja} {\bar{y}}_{ja}

$\left( \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{\mathbf{x}}_i' \right)^{-1} \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{y}_i$

Gdzie itd. ... $\bar{\mathbf{x}}_i = \frac{1}{T} \sum_t \mathbf{x}_{t, i}$

Łączna ocena OLS:

Warto zastanowić się nad zbiorczym oszacowaniem OLS. Co to jest? Następnie użyj

\begin{aligned} \hat{b} & = {(X^{'} X)}^{- 1} X^{'} Y \\ = {(\frac{1}{n T.} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T.} \sum_{t} X_{t}^{'} y_{ja}) \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \left(X'X\right)^{-1}X'Y \\ &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t' \mathbf{y}_i \right) \end{align*}$

b_{t} = {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{i}

$\mathbf{b}_t = \left(X_t'X_t \right)^{-1}X_t' \mathbf{y}_i$

\begin{aligned} = {(\frac{1}{n T.} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T.} \sum_{t} X_{t}^{'} X_{t} b_{t}) \end{aligned}

$\begin{align*} &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t'X_t \mathbf{b}_t \right) \end{align*}$

Niech i będą naszymi szacunkami odpowiednio dla pełnej próbki i okresu . Potem będzie: $S = \frac{1}{nT} \sum_i X'X$ $S_t = \frac{1}{n} X_t'X_t$ $\operatorname{E}[\mathbf{x}\mathbf{x}']$ $t$

\begin{aligned} \hat{b} & = \frac{1}{T.} \sum_{t} ({S.}^{- 1} {S.}_{t}) b_{t} \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \frac{1}{T} \sum_t \left( S^{-1} S_t \right) \mathbf{b}_t \end{align*}$

Jest to coś w rodzaju średniej z różnych szacunków czasowych , ale jest nieco inne. W pewnym sensie przywiązujesz większą wagę do okresów o większej zmienności zmiennych po prawej stronie. $\mathbf{b}_t$

Przypadek specjalny: zmienne po prawej stronie są niezmienne czasowo i specyficzne dla firmy

Jeśli zmienne po prawej stronie dla każdej firmy są stałe w czasie (tj. dla dowolnego i ), to dla wszystkich i mielibyśmy: $i$ $X_{t_1} = X_{t_2}$ $t_1$ $t_2$ $S = S_t$ $t$

\hat{b} = \frac{1}{T.} \sum_{t} b_{t}

$\hat{\mathbf{b}} = \frac{1}{T} \sum_t \mathbf{b}_t$

Zabawny komentarz:

Tak jest w przypadku Fama i Macbeth, w którym, kiedy zastosowali tę technikę uśredniania szacunków przekrojowych, aby uzyskać spójne błędy standardowe przy szacowaniu, w jaki sposób oczekiwane zwroty różnią się w zależności od kowariancji firm na rynku (lub innych ładunków czynnikowych).

Procedura Fama-Macbeth jest intuicyjnym sposobem na uzyskanie spójnych standardowych błędów w kontekście panelu, gdy terminy błędów są skorelowane przekrojowo, ale niezależne w czasie. Bardziej nowoczesną techniką, która daje podobne wyniki, jest grupowanie na czas.

— Matthew Gunn
źródło

(Uwaga: nie mam wystarczającej reputacji, aby móc komentować, więc zamieszczam to jako odpowiedź).

W przypadku konkretnego postawionego pytania odpowiedź fcop jest prawidłowa: dopasowanie średniej jest takie samo jak uśrednienie pasowań (przynajmniej dla liniowych najmniejszych kwadratów). Warto jednak wspomnieć, że którekolwiek z tych naiwnych podejść „ online ” może dać stronnicze wyniki, w porównaniu do dopasowania wszystkich danych jednocześnie. Ponieważ oba są równoważne, skupię się na podejściu „dopasuj do średniej”. W istocie, montaż uśrednionej KRZYWYCH pomija pewne wątpliwości w wartości pomiędzy różnymi punktów. Na przykład jeśli , , a , to $\bar{y}[x]=\langle y[x]\rangle$ $y$ $x$ $y_1[x_1]=y_2[x_1]=2$ $y_1[x_2]=1$ $y_1[x_2]=3$ $\bar{y}[x_1]=\bar{y}[x_2]=2$ , ale przy każdym dopasowaniu krzywej powinno być znacznie więcej uwagi na temat niedopasowania na porównaniu z . $x_1$ $x_2$

Zauważ, że większość naukowych platform oprogramowania powinna mieć narzędzia do obliczania / aktualizacji prawdziwego dopasowania „najmniejszych kwadratów” online (znanego jako rekurencyjne najmniejsze kwadraty ). Można więc wykorzystać wszystkie dane (jeśli jest to pożądane).

— GeoMatt22
źródło

Odpowiedź wysłana przez fcop została usunięta. Możesz nieco zmienić swoją odpowiedź

— Glen_b