Jeśli mam wiele pozytywnych, nieistotnych wyników, mogę przetestować „przynajmniej


9

Powiedzmy, że uruchomiłem tę samą regresję osobno dla 100 różnych osób. Moje współczynniki zainteresowania są dodatnie (i całkiem różne od siebie), ale statystycznie nieistotne we wszystkich 100 wynikach (powiedzmy, że każda wartość p = 0,11).

Czy istnieje sposób na połączenie tych wartości p w celu stwierdzenia, że ​​„co najmniej 80 z tych wyników jest dodatnich” o większym znaczeniu niż p = 0,11? Moje wyszukiwania online pokazały mi tylko, jak powiedzieć „co najmniej 1 z tych wyników jest pozytywny” za pomocą testu Fishera lub podobnego, ale nie byłem w stanie uogólnić tego wyniku. Chcę przetestować „H0 = wszystkie 100 efektów jest takich samych przy 0” wobec „HA = co najmniej 80 efektów jest dodatnich”.

Moim celem nie jest stwierdzenie, że istnieje średni współczynnik dodatni, ani też nie jest konkretny pomiar tego współczynnika. Moim celem jest wykazanie, że co najmniej 80 osób indywidualnie doświadczyło jakiegoś pozytywnego efektu niezależnie od tego, które 80 i niezależnie od wielkości efektu odczuwanego przez każdą osobę.


2
Co masz na myśli przez „prowadzenie tej samej regresji dla 100 osobno osobno”? - czy to oznacza, że ​​masz 100 zestawów danych, z których każdy zawiera wiele obserwacji tego samego zestawu zmiennych odpowiedzi i zmiennych objaśniających? Nie jestem pewien, jak to działa, np. Jeśli chcesz porównać wzrost i wagę osobnika, masz tylko jedną obserwację dla każdej osoby, więc jak dopasować regresję? Czy masz może szereg czasowy dla każdej osoby - w takim przypadku i tak potrzebujesz bardziej wyrafinowanych technik. Byłaby to forma analizy podłużnej, jeśli szukasz wyszukiwanych haseł.
Peter Ellis,

Odpowiedzi:


8

Powinieneś wykonać wszystkie 100 analiz jako pojedynczy model efektów mieszanych, z własnymi zmiennymi losowymi. W ten sposób możesz oszacować rozkład dla tych współczynników, w tym ich ogólną średnią, co da ci rodzaj interpretacji, o której myślę, że szukasz.

Zwracając uwagę, że jeśli, jak podejrzewam, masz szereg czasowy dla każdej osoby, będziesz również musiał skorygować autokorelację reszt.


Bardzo dziękuję za poświęcony czas. Jeśli mogę wyjaśnić, jest to szereg czasowy. Powiedzmy, że mam dane dla wszystkich 100 osób w ciągu 5 lat, aw trzecim roku zmienna fikcyjna (zmienna niezależna, którą jestem zainteresowany) zmienia się na 1 w tym samym czasie dla wszystkich 100 osób. Nie obchodzi mnie dokładny wpływ tej zmiany na każdą osobę ani średni efekt. Chcę raczej ustalić, że dotyczy to co najmniej 80 osób. Współczynnik jest dodatni dla wszystkich 100, ale każdy jest nieznaczny. Nie jestem pewien, czy pomiar rozkładu współczynnika to osiągnie.
user28239,

1
Tak właśnie zgadywałam. Myślę, że moje zalecane podejście jest właściwe. Następnie możesz użyć modelu do prognozowania lub innych potrzebnych interpretacji.
Peter Ellis,

4

Najprostszym rozwiązaniem byłoby prawdopodobnie próba znak. Hipotezą zerową jest to, że każdy wynik ma jednakowe prawdopodobieństwo, że będzie dodatni lub ujemny (jak rzucie uczciwą monetą). Twoim celem jest ustalenie, czy zaobserwowane wyniki byłyby mało prawdopodobne przy tej hipotezie zerowej, abyś mógł je odrzucić.

Jakie jest prawdopodobieństwo uzyskania 80 lub więcej głów na 100 rzutów uczciwej monety? Możesz to obliczyć za pomocą rozkładu dwumianowego. W Rwywoływana jest odpowiednia funkcja pbinomi można uzyskać (jednostronną) wartość p za pomocą następującego wiersza kodu:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Zgodnie z tym testem Twoja intuicja jest prawidłowa, byłoby bardzo mało prawdopodobne, aby przypadkowo uzyskać 80 pozytywnych wyników, gdyby leczenie nie przyniosło żadnego efektu.

Blisko spokrewnioną opcją byłoby użycie czegoś takiego jak podpisany test rang Wilcoxona .


Lepsze podejście, jeśli rzeczywiście chcemy oszacować wielkość efektu (zamiast po prostu ustalić, czy ma ona tendencję do być większa od zera, czy też nie), prawdopodobnie byłby to model hierarchiczny ( „mieszane”).

Tutaj model mówi, że wyniki twoich 100 osób pochodzą z rozkładu, a twoim celem jest sprawdzenie, gdzie jest średnia tego rozkładu (wraz z przedziałami ufności).

Modele mieszane pozwalają powiedzieć coś więcej o rozmiarach efektu: po dopasowaniu modelu można powiedzieć coś w rodzaju „szacujemy, że nasze leczenie ma tendencję do poprawy wyników średnio o trzy jednostki, chociaż dane są zgodne z prawdziwą średnią wielkość efektu wynosi od 1,5 do 4,5 jednostek. Istnieją również pewne różnice między jednostkami, więc dana osoba może zobaczyć efekt od -0,5 do +6,5 jednostek ".

To bardzo precyzyjny i użyteczny zestaw stwierdzeń - znacznie lepszy niż tylko „efekt jest prawdopodobnie średnio pozytywny”, dlatego statystycy preferują to podejście. Ale jeśli nie potrzebujesz wszystkich tych szczegółów, pierwsze podejście, o którym wspomniałem, może być również w porządku.


0

Może źle to rozumiem, ale wydaje mi się, że próbujesz wykonać ANOVA z powtarzanymi pomiarami. Po prostu zdefiniuj tego „manekina” jako czynnik wewnątrz podmiotu, a model zrobi resztę. Samo znaczenie nie jest bardzo pouczające; jest wymagane, ale niewystarczające; każdy model zyskałby na znaczeniu przy wystarczająco dużej liczbie obserwacji. możesz chcieć uzyskać rozmiar efektu, taki jak (częściowy) Eta-kwadrat, aby dowiedzieć się, jak „duży” jest twój efekt. Moje 2 centy.


0

Może to być tak proste jak zwykłe obliczenie ANCOVA, ale odpowiedni sposób analizy danych zależy od sytuacji fizycznej i nie podałeś tych szczegółów.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.