Czy SurveyMonkey ignoruje fakt, że otrzymujesz nieprzypadkową próbkę?

SurveyMonkey ma kroki i tabelę, aby dowiedzieć się, jaki rozmiar próby jest potrzebny dla danego marginesu błędu lub przedziału ufności, na podstawie wielkości populacji.

Wielkość próby SurveyMonkey

Czy ta tabela po prostu ignoruje fakt, że nie otrzymasz losowej próbki, ponieważ tylko osoby, które zawracają sobie głowę odpowiedzią na ankietę?

Zostaję ostrzeżony podczas pisania tego pytania, że pytanie wydaje się subiektywne, więc może nie zadaję go poprawnie. Tak naprawdę nie chodzi o SurveyMonkey, ale jest bardziej ogólne pytanie - czy faktycznie można obliczyć przedziały ufności na podstawie danych dobrowolnych odpowiedzi przy użyciu zaawansowanych technik, o których nie wiem?

W sondażach wyjściowych lub badaniach krajowych oczywiście muszą poradzić sobie z tym problemem. Moje wykształcenie nie obejmowało dogłębnie technik próbkowania ankiet, ale zakładam, że wiąże się to ze zbieraniem danych demograficznych i wykorzystywaniem ich do tego, aby wiedzieć, jak reprezentatywna jest twoja próbka.

Ale poza tym, dla prostej ankiety online, czy oni tylko zakładają, że ludzie, którzy próbują odpowiedzieć, są losową próbą populacji?

— matowy
źródło

Krótka odpowiedź brzmi: tak, Survey Monkey ignoruje dokładnie sposób uzyskania próbki. Survey Monkey nie jest wystarczająco sprytny, aby założyć, że to, co zebrałeś, nie jest próbą wygody, ale praktycznie każda ankieta Survey Monkey jest próbką wygody. Stwarza to ogromną rozbieżność w dokładnie oszacowanych wartościach, których żadna ilość próbkowania nie może / nie wyeliminuje. Z jednej strony możesz zdefiniować populację (i skojarzenia w niej), które uzyskasz od SRS. Z drugiej strony, można określić populację zdefiniowane przez non-losowego pobierania próbek, stowarzyszeń tam Państwo mogąoszacowanie (i reguły mocy obowiązują dla takich wartości). To do ciebie, jako badacza, należy omówienie rozbieżności i pozwolenie czytelnikowi dokładnie określić, jak ważna może być próba losowa w przybliżeniu prawdziwego trendu.

$\mbox{Bias}_n = \theta - \hat{\theta}_n$ $\hat{\theta} \rightarrow_p \theta$ $\hat{\theta} \not\to_p \theta$ w teorii prawdopodobieństwa. Eksperci zajmujący się projektowaniem badań (np. Epidemiologowie) nabrali złego nawyku nazywania niekonsekwencji „uprzedzeniem”. W tym przypadku jest to błąd selekcji lub błąd ochotnika. Jest to z pewnością pewna forma uprzedzeń, ale niekonsekwencja oznacza, że żadna ilość próbkowania nigdy nie rozwiąże problemu.

Aby oszacować powiązania na poziomie populacji na podstawie danych przykładowych dla wygody, należy poprawnie zidentyfikować mechanizm prawdopodobieństwa próbkowania i zastosować odwrotną wagę prawdopodobieństwa we wszystkich swoich szacunkach. W bardzo rzadkich sytuacjach ma to sens. Zidentyfikowanie takiego mechanizmu jest praktycznie niemożliwe. Można to zrobić w kohorcie osób z wcześniejszymi informacjami, które są proszone o wypełnienie ankiety. Prawdopodobieństwo braku odpowiedzi można oszacować jako funkcję wcześniejszych informacji, np. Wiek, płeć, SES ... Ważenie daje szansę ekstrapolacji wyników uzyskanych w populacji osób nieodpowiadających. Spis jest dobrym przykładem udziału odwrotnej wagi prawdopodobieństwa dla takich analiz.

— AdamO
źródło

Czy mógłbyś trochę wyjaśnić, w jaki sposób próbę wygody można uznać za niespójną, ale nie stronniczą ? Historycznie wiele próbek wygody okazało się być bardzo stronniczymi (a „stronniczy” to termin, który ludzie używali do ich opisania): sondaż literacki z 1936 roku jest być może najbardziej znanym przykładem.

— whuber

@whuber Wybacz moje „niespójne” użycie terminologii. Bias był czymś, co, jak zakładałem, zniknęło w dużych próbkach, podczas gdy niespójne szacunki nigdy nie są zbieżne w dużych próbkach. W teorii prob przykłady niespójnych estymatorów są nieliczne i dalekie od siebie, ale z perspektywy projektowania badań pojawiają się cały czas. Co ciekawe, epidemiologowie nazywają to „uprzedzeniem” (tj. Nastawieniem na selekcję). Ale pytanie dotyczące plakatów wydawało się sugerować, że „próbkowanie więcej” złagodziłoby stronniczość, tak jak może to być w przypadku tendencyjności opartej na teorii prawdopodobieństwa.

— AdamO,

Nie jestem pewien, czy wszystko to zrozumiałem, więc pozwólcie, że skupię się na niewielkiej części: czy (lub nie) twierdzicie, że większe [wygodne] próbki zmniejszają stronniczość? Mam nadzieję, że nie, bo to z pewnością nieprawda! (Jest to jeden z powodów, dla których sondaż literacki jest znany: jest jednym z największych, jakie kiedykolwiek podjęto i wykazał też jedną z największych stronniczości.)

— whuber

Rzeczywiście nie! Pobieranie próbek więcej nie wyeliminowałoby takiego wewnętrznego błędu. To jest problem tutaj. Plakat jest zainteresowany mocą do oszacowania związku populacji z nielosową próbą, i moim celem jest to, że zawsze masz 0 mocy do oszacowania tego (chyba że zastosowane zostaną bardzo ostrożne i złożone mechanizmy ważenia).

— AdamO,

Dziękuję za ostatni komentarz; wyjaśnia część twojej odpowiedzi, którą w przeciwnym razie mógłbym źle zinterpretować. (+1)

— whuber