Jak oszacować nieistotność statystyczną?

Jestem stosunkowo nowy w statystyce i rozumiem, że moje pytanie może być całkowicie błędnie sformułowane. Testuję własny algorytm w porównaniu z innym. Chociaż wyniki nie są identyczne, chcę pokazać, że różnice są „statystycznie nieistotne”. Jak mogę to wyrazić ilościowo, aby wyrazić swoje zdanie?

correlation statistical-significance dataset

— Adam_G
źródło

Będzie to zależeć od tego, z jakimi danymi masz do czynienia i jak duże są twoje próbki. Czy możesz edytować swój post, aby zawierał bardziej szczegółową odpowiedź?

— naught101

Odpowiedź na test równoważności odrzuca brak równoważności. Zmusza cię do wybrania wielkości próbki wystarczająco dużej, aby uzyskać moc. Bez odwrócenia hipotezy zerowej i alternatywnej w małych próbach bardzo niewiele zmieniłoby odrzucenie hipotezy zerowej bez różnicy. Ale nie odrzucenie to nie to samo, co akceptacja z powodu braku władzy, dlatego Blackwelder czyni non-equavalence hipotezą zerową, a wykazanie równoważności wymaga odrzucenia zerowej.

— Michael R. Chernick

Zauważ, że hipoteza zerowa mówi, że różnica średnich jest większa niż określona delta (okno równoważności).

— Michael R. Chernick

Jeśli porównujesz dwie grupy i nie chcesz wykazać znaczącej różnicy, nazywa się to testowaniem równoważności. Zasadniczo odwraca hipotezę zerową i alternatywną. Chodzi o zdefiniowanie przedziału nieistotności zwanego oknem równoważności. Jest to często stosowane, gdy próbuje się wykazać, że lek generyczny jest odpowiednim zamiennikiem sprzedawanego leku. Dobrym źródłem do przeczytania na ten temat jest praca Williama Blackweldera zatytułowana „Dowodzenie zerowej hipotezy” w badaniach klinicznych .

— Michael R. Chernick
źródło

Dziękuję Michael. Chyba muszę wykonać jeszcze trochę pracy, zanim będę mógł zadeklarować dane jako „znaczące” lub „nieistotne”. Zacznę się tym zajmować i dam wam znać, jeśli będę miał jakieś pytania, na pewno tak.

— Adam_G

Tylko ostatni komentarz. Jednostronna wersja równoważności nazywa się noninferiority. Często producenci leków mogą wprowadzać na rynek tak zwany lek „ja też”, który nie musi być tak skuteczny jak konkurencyjny sprzedawca, o ile nie jest on znacznie gorszy (zdefiniowany przez deltę, która jest oknem na niewierność) Można to zrobić, ponieważ produkt oferuje konsumentowi inne korzyści, takie jak mniejsze dawki na dzień lub jak w przypadku antykoagulantu, który nie wymaga monitorowania INR

— Michael R. Chernick