W jakich ustawieniach przedziały ufności nie poprawiłyby się wraz ze wzrostem wielkości próbki?

W poście na blogu znalazłem to twierdzenie

„Uważam, że WG Cochrane po raz pierwszy zwrócił uwagę (mniej więcej w latach siedemdziesiątych), że przy przedziałach ufności w warunkach obserwacyjnych, małe rozmiary próbek zapewniają lepsze pokrycie wystarczającą ilością dużych próbek zapewniających pokrycie prawie zerowe!”

Teraz zakładam, że szerokość CI powinna zbliżać się do 0 wraz ze wzrostem wielkości próby, ale pomysł, że zasięg będzie się jednocześnie pogarszał, nie jest dla mnie przekonujący. Czy to twierdzenie jest prawdziwe i w jakich okolicznościach? A może źle to interpretuję?

Przeprowadziłem symulację przy użyciu losowych, normalnie rozłożonych danych z wielkościami próbek od 10000 do 1000000 (test t dla jednej próbki, 95% CI), 1000 przebiegów dla każdej wielkości próbki, a pokrycie nie pogorszyło się dla większych rozmiarów próbki (zamiast tego znalazłem oczekiwany prawie stały ~ 5% poziom błędu).

Zwróć uwagę na kwalifikację „w warunkach obserwacyjnych”.

Sprawdzając kontekst, z którego wziąłeś cytat (podtekst komentarzy, w których się znajduje), wygląda na to, że celem jest „rzeczywisty świat”, a nie symulacja, i prawdopodobnie nie obejmuje kontrolowanego eksperymentu. W takim przypadku prawdopodobna intencja jest konsekwencją faktu, że założenia, na podstawie których ustalane są przedziały, nie są w pełni aktualne. Istnieje wiele rzeczy, które mogą wpływać na błąd systematyczny - które mają niewielki wpływ w porównaniu ze zmiennością w małych próbkach - ale które zasadniczo nie zmniejszają się wraz ze wzrostem wielkości próbki, podczas gdy robią to standardowe błędy.

Ponieważ nasze obliczenia nie uwzględniają odchylenia, ponieważ interwały zmniejszają się (jako ), każde niezmienne odchylenie, nawet jeśli jest dość małe, jest większe, pozostawiając nasze przedziały coraz mniej prawdopodobne, aby zawierać prawdziwą wartość.$1/\sqrt n$

Oto ilustracja - która może przesadza z uprzedzeniem - aby wskazać, co moim zdaniem oznacza prawdopodobieństwo pokrycia CI zmniejszające się wraz ze wzrostem wielkości próby:

Oczywiście w każdej konkretnej próbce przedział będzie losowy - będzie szerszy lub węższy i przesunięty w lewo lub w prawo w stosunku do diagramu, tak że przy każdej wielkości próbki ma pewne prawdopodobieństwo pokrycia między 0 a 1, ale dowolne odchylenie sprawi, że zmniejszy się do zera, gdy wzrośnie. Oto przykład ze 100 przedziałami ufności dla każdej wielkości próbki przy użyciu danych symulowanych (wykreślonych z przezroczystością, dzięki czemu kolor jest bardziej jednolity, gdy pokrywa go więcej przedziałów):$n$

Słodka ironia. Przed tym akapitem ta sama osoba mówi „Nic dziwnego, że istnieje tak powszechne zamieszanie”. „Przedziały ufności w warunkach obserwacyjnych”: co to w ogóle oznacza?

Wydaje mi się, że po raz kolejny jest to pomyłka między szacowaniem a testowaniem hipotez .

Teraz wiem, że szerokość CI powinna zbliżać się do 1 wraz ze wzrostem wielkości próby.

Nie, to zależy od kontekstu. Zasadniczo szerokość powinna być zbieżna do . Pokrycie powinno być zbliżone do wartości nominalnej dla dużej liczby symulacji Monte Carlo. Pokrycie nie zależy od wielkości próby, chyba że niektóre założenia, na podstawie których zbudowano CI, są błędne (co być może właśnie oznaczało OP. „Wszystkie modele są błędne”, tak.).$0$

Odniesieniem jest komentarz w poście prywatnego bloga . Nie martwiłbym się zbytnio o ważność tego rodzaju referencji. Z drugiej strony blog, którego właścicielem jest Larry Wasserman, jest bardzo dobrze napisany. Przypomniało mi to komiks xkcd:

http://xkcd.com/386/