Test t dla częściowo sparowanych i częściowo niesparowanych danych


28

Badacz chce opracować połączoną analizę kilku zestawów danych. W niektórych zestawach danych istnieją sparowane obserwacje dla leczenia A i B. W innych są niesparowane dane A i / lub B. Szukam odniesienia do dostosowania testu t lub testu współczynnika prawdopodobieństwa dla takich częściowo sparowanych danych. Jestem gotów (na razie) założyć normalność z jednakową wariancją i że średnie populacji dla A są takie same dla każdego badania (i podobnie dla B).


2
Cześć Frank. Być może pomocne byłoby doprecyzowanie założeń modelowania. Zwykle, gdy myślę o sparowanych projektach, myślę o jednym z następujących (i) próbujących usunąć ustalone nieobserwowalne efekty na poziomie jednostki, (ii) zmniejszając zmienność losowego efektu między jednostkami eksperymentalnymi lub (iii) dostosowując się do nietypowości odpowiedzi, biorąc różnice między parami, uzyskując w ten sposób lepsze przybliżenie. W szczególności nie widzę od razu żadnej korzyści w dopasowanych parach, jeśli założenie poniżej wartości zerowej jest takie, że wszystkie obserwacje są prawidłowe.
kardynał

4
Kardynale, mam też dużo danych, które wyglądają tak. Próbowaliśmy zebrać w pełni sparowane dane, ale z powodu problemów technicznych lub pecha niektóre pomiary próbek pod A lub B są czasami zepsute. Dwa oczywiste - ale niezadowalające - rozwiązania to: 1) wyrzucić wszystkie niekompletne pary i wykonać sparowany test t lub 2) zignorować parowanie i wykonać niesparowany test t dla wszystkich danych. Myślę, że plakat prosi o sposób na wykorzystanie pary tam, gdzie ona istnieje (z twojego powodu # 1 i # 2), jednocześnie ratując wszystko, co może z innych, niesparowanych punktów danych.
Matt Krause,

2
Doceniam wszystkie komentarze. Dla dopasowanych par badanych testowano zarówno pod A, jak i B. Jednym ze sposobów na wykorzystanie parowania jest zastosowanie nieparametrycznego przedziału ufności percentylu bootstrapu dla różnicy między średnimi w A i B. Wymagałoby to użycia bootstrapu klastra, próbkowania z zastąpieniem z przedmioty. W przypadku podmiotu, który nie ma sparowanych danych, jedna obserwacja zostanie zachowana lub usunięta w ponownym próbkowaniu, a sparowane dane będą miały dwa rekordy przechowywane lub usunięte. Wydaje się, że szanuje to parowanie, ale oszacowanie wymaga zdefiniowania i nie wiemy o optymalności.
Frank Harrell,

1
Podejście bayesowskie jest łatwe do wdrożenia.
Stéphane Laurent

2
Hani M. Samawi i Robert Vogel, Journal of Applied Statistics (2013): Uwagi na temat dwóch przykładowych testów dla częściowo skorelowanych (sparowanych) danych, dx.doi.org/10.1080/02664763.2013.830285
Suresh

Odpowiedzi:



8

Cóż, jeśli znasz rozbieżności w parach niesparowanych i sparowanych (które ogólnie byłyby znacznie mniejsze), optymalnymi wagami dla dwóch oszacowań różnicy w grupach średnich byłyby wagi odwrotnie proporcjonalne do wariancji osobnika szacunki różnicy średnich.

[Edycja: okazuje się, że przy szacowaniu wariancji nazywa się to estymatorem Graybill-Deal. Było na ten temat sporo artykułów. Oto jeden]

Konieczność oszacowania wariancji powoduje pewne trudności (wynikowy stosunek szacunków wariancji wynosi F, i myślę, że uzyskane masy mają rozkład beta, a wynikowa statystyka jest dość skomplikowana), ale ponieważ rozważasz bootstrapping, może to być mniej obaw.

Alternatywną możliwością, która może być w pewnym sensie ładniejsza (lub przynajmniej trochę bardziej odporna na nienormalność, ponieważ gramy ze współczynnikami wariancji) przy bardzo niewielkiej utracie wydajności na normalnym poziomie, jest oparcie łącznej oceny przesunięcia sparowane i niesparowane testy rangowe - w każdym przypadku rodzaj szacunku Hodgesa-Lehmanna, w niesparowanym przypadku opartym na medianach różnic między próbami parami oraz w sparowanym przypadku od median średnich średnich par. Ponownie, minimalna ważona wariancją liniowa kombinacja tych dwóch będzie miała wagi proporcjonalne do odwrotności wariancji. W takim przypadku prawdopodobnie skłaniam się ku permutacji (/ randomizacji) zamiast bootstrapu - ale w zależności od tego, jak zaimplementujesz bootstrap, mogą skończyć w tym samym miejscu.

W obu przypadkach możesz chcieć wzmocnić swoje wariancje / zmniejszyć współczynnik wariancji. Dostanie się do właściwego boiska do wagi jest dobre, ale normalnie stracisz bardzo małą wydajność, czyniąc go nieco solidnym. ---

Kilka dodatkowych myśli, których wcześniej wyraźnie nie uporządkowałem:

Ten problem ma wyraźne podobieństwo do problemu Behrensa-Fishera, ale jest jeszcze trudniejszy.

Gdybyśmy ustalili wagi, moglibyśmy po prostu uderzyć w przybliżeniu typu Welch-Satterthwaite; struktura problemu jest taka sama.

Naszym problemem jest to, że chcemy zoptymalizować wagi, co faktycznie oznacza, że ​​waga nie jest ustalona - i rzeczywiście dąży do maksymalizacji statystyki (przynajmniej w przybliżeniu i prawie w dużych próbkach, ponieważ każdy zestaw wag jest losową wielkością szacującą to samo licznik, a my staramy się zminimalizować mianownik; oba nie są niezależne).

Spodziewam się, że pogorszyłoby to przybliżenie chi-kwadrat i prawie na pewno wpłynęłoby jeszcze bardziej na wartość df przybliżenia.

[Jeśli problem ten jest możliwy do wykonania, może się okazać, że istnieje dobra zasada, która mówi: „możesz zrobić prawie równie dobrze, jeśli używasz tylko sparowanych danych w tych okolicznościach, tylko niesparowanych w tych innych zestawach warunki, a reszta, ten ustalony schemat masy jest zwykle bardzo zbliżony do optymalnego ”- ale nie wstrzymam oddechu, czekając na tę szansę. Taka reguła decyzyjna niewątpliwie miałaby pewien wpływ na prawdziwe znaczenie w każdym przypadku, ale jeśli ten efekt nie byłby tak duży, taka praktyczna zasada dałaby łatwy sposób korzystania z istniejącego oprogramowania, więc pożądane byłoby spróbuj zidentyfikować taką regułę dla użytkowników w takiej sytuacji.]

---

Edycja: Uwaga do siebie - Musisz wrócić i wypełnić szczegóły pracy nad testami „nakładających się próbek”, zwłaszcza t-testów nakładających się próbek

---

Przyszło mi do głowy, że test randomizacji powinien działać dobrze -

  • gdzie dane są sparowane, losowo permutujesz etykiety grup w parach

  • tam, gdzie dane są niesparowane, ale zakłada się, że mają wspólną dystrybucję (poniżej wartości zerowej), permutujesz przypisania grupowe

  • w1=1/(1+v1v2)


(Dodano znacznie później)

Ewentualnie odpowiedni papier:

Derrick, B., Russ B., Toher, D. i White, P. (2017),
„Statystyka testu dla porównania średnich dla dwóch próbek, które obejmują zarówno sparowane, jak i niezależne obserwacje”,
Journal of Modern Applied Methods Methods , maj Vol. 16, nr 1, 137-157.
doi: 10.22237 / jmasm / 1493597280
http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=2251&context=jmasm


1
+1. Mam pytanie dotyczące ostatniej części twojej odpowiedzi. Jakie oszacowania wariancji (tj. Jakie wagi) zastosowałbyś w teście permutacji - rzeczywiste obliczone na rzeczywistej próbce, czy też obliczylibyśmy wagi dla każdej permutacji na podstawie danych z tej permutacji?
ameba mówi Przywróć Monikę

@amoeba, aby odpowiednio uwzględnić obliczenia oparte na próbach, należy oprzeć je na tej konkretnej permutacji.
Glen_b

@amoeba Powinienem porównać to z innymi podejściami do problemu.
Glen_b

1
Nawiasem mówiąc, natknąłem się na ten wątek, ponieważ ktoś podszedł do mnie z następującymi danymi: dwóch pacjentów z danymi sparowanymi plus dwóch pacjentów z danymi niesparowanymi (tj. 3 pomiary w grupie A, 3 pomiary w grupie B, spośród tych 6 wartości 2+ 2 są sparowane, a reszta nie jest sparowana). W tym przypadku nie ma wystarczających danych, aby oszacować wariancję niesparowanego oszacowania przesunięcia, więc nie mogłem zasugerować niczego oprócz zignorowania parowania i wykonania niesparowanego testu ... Ale to oczywiście dość ekstremalna sytuacja.
ameba mówi Przywróć Monikę

6

Oto kilka myśli. Po prostu doszedłem do wniosku Grega Snowa, że problem ten ma wyraźne podobieństwo do problemu Behrensa-Fishera . Aby uniknąć falowania rąk, najpierw wprowadzam pewne zapisy i formalizuję hipotezy.

  • nxipAxipBi=1,,n
  • nAnBxiAi=1,,nAxiBi=1,,nB
  • każda obserwacja jest sumą efektu pacjenta i efektu leczenia. Odpowiednie zmienne losowe to

    • XipA=Pi+TiAXipB=Pi+TiB
    • XiA=Qi+UiAXiB=Ri+ViB

    Pi,Qi,RiN(0,σP2)Tiτ,Uiτ,ViτN(μτ,σ2)τ=A,B

    • μA=μB

Xi=XipAXipBXiN(μAμB,2σ2)

XinXiAnAXiBnB

  • XN(μAμB,2nσ2)
  • XAN(μA,1nA(σP2+σ2))
  • XBN(μB,1nB(σP2+σ2))

Kolejnym naturalnym krokiem jest rozważenie

  • Y=X+XAXBN(2(μAμB),2nσ2+(1nA+1nB)(σP2+σ2))

σ2n1σP2+σ2nA1nB1(1nA+1nB)(σP2+σ2)nA+nB2Y

W tym momencie myślę, że można podłączyć dowolne rozwiązanie problemu Behrensa Fishera, aby uzyskać rozwiązanie tego problemu.


1
Poprawiłem kilka literówek we wzorach. Proszę sprawdzić!
kjetil b halvorsen

5

Moją pierwszą myślą był model efektów mieszanych, ale zostało to już omówione, więc nie powiem nic więcej na ten temat.

Inną moją myślą jest to, że gdyby teoretycznie możliwe było zmierzenie sparowanych danych na wszystkich osobach, ale z powodu kosztów, błędów lub innego powodu, dla którego nie masz wszystkich par, możesz potraktować niezmierzony efekt dla niesparowanych osobników jako brakujące dane i korzystanie z narzędzi takich jak algorytm EM lub wielokrotne przypisywanie (brakujące losowo wydaje się uzasadnione, chyba że przyczyna, dla której badany był mierzony tylko w ramach 1 leczenia, była związana z tym, jaki byłby wynik w przypadku innego leczenia).

Jeszcze prostsze może być po prostu dopasowanie dwuwymiarowej normalnej do danych przy użyciu maksymalnego prawdopodobieństwa (z prawdopodobieństwem uwzględnionym na podstawie dostępnych danych na podmiot), a następnie wykonanie testu współczynnika wiarygodności porównującego rozkład ze średnimi równymi względem różnych średnich.

Minęło sporo czasu od moich zajęć teoretycznych, więc nie wiem, jak się je porównuje pod względem optymalności.


1
Dzięki Greg. Opieram się na niestandardowym podejściu maksymalnego prawdopodobieństwa.
Frank Harrell,

4

być może mieszane modelowanie z pacjentem jako przypadkowy efekt może być sposobem. Przy mieszanym modelowaniu można uwzględnić strukturę korelacji w sparowanym przypadku i częściowe braki w niesparowanym przypadku.


2
Ponieważ żaden z zestawów danych analizowanych indywidualnie nie doprowadziłby do użycia efektów losowych, nie rozumiem, dlaczego efekty losowe są tutaj pomocne. Ale może być możliwe zastosowanie uogólnionych najmniejszych kwadratów, aby umożliwić każdemu podmiotowi własną strukturę korelacji. Niesparowane obserwacje miałyby korelację zero. Warto o tym pomyśleć. Dzięki.
Frank Harrell,

tak, masz rację, zestawy danych nie wymagałyby mieszanego modelowania, gdyby były używane osobno. Ale jeśli dodasz je do jednego zestawu danych, możesz zastosować to podejście, aby uwzględnić korelację w sparowanych danych i jednocześnie użyć niesparowanych danych, określając korelację zerową.
psj

1
Tak; Chodzi mi o to, że model mieszany może być overkill, jak można łatwo określić strukturę korelacji zmiennych używając tematu uogólnione najmniejszych kwadratów (używając np R w glsfunkcji w nlme4pakiecie.
Frank Harrell

3

Jedna z metod zaproponowanych w Hani M. Samawi i Robert Vogel (Journal of Applied Statistics, 2013) polega na ważeniu kombinacji wyników T z niezależnych i zależnych próbek w taki sposób, że nowy wynik T jest równy

To=γ(μYμXSx2/nX+Sy2/nY)+(1γ)μDSD2/nD

Dγγ


1
T0
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.