Czy w USA znane są uprzedzenia związane z ankietami telefonicznymi?

Patrzyłem na ankietę WashingtonTimes / ABC, a rozkład wyników, zwłaszcza ze względu na wiek, wydawał mi się zaskakujący. Poszedłem więc szukać uprzedzeń.

Stwierdzono: „ankieta została przeprowadzona telefonicznie w dniach 11-14 grudnia 2014 r. Wśród losowej próby 1000 osób dorosłych. Wywiady przeprowadzono w języku angielskim i hiszpańskim na telefonach stacjonarnych i komórkowych”.

Ankieta nie dała mi liczby respondentów w każdej grupie wiekowej, a moją pierwszą myślą było, w jakim wieku 18-29 lat jest w domu, aby odebrać telefon ?! OK, obejmują telefonię komórkową, co czyni go nieco bardziej sprawiedliwym. Ale mimo to, jakiego rodzaju osoby w wieku 18–29 lat odbierają telefony komórkowe, pytają, czy chcą przeprowadzić ankietę, i mówią „tak, jasne”.

(Nie mam na myśli tego jako retorycznego pytania; mam przeczucie, że pewne grupy są znacznie bardziej prawdopodobne, np. Ktoś o niskiej samoocenie może cieszyć się procesem proszenia o opinię przez nieznajomego przez telefon).

Czy są jakieś badania na ten temat? Czy organizacja zainteresowana manipulowaniem opinią publiczną wybrałaby ankietę telefoniczną, ankietę internetową lub wywiad na ulicy, gdyby dążyła do określonego uprzedzenia?

Jest ładne badanie Pew, które ocenia, jak bardzo spadło wskaźniki odpowiedzi, a także jakie są skutki.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

„Nowe badanie przeprowadzone przez Pew Research Center for the People & the Press wykazało, że pomimo spadku odsetka odpowiedzi, ankiety telefoniczne obejmujące telefony stacjonarne i komórkowe, które są dopasowane do składu demograficznego populacji, nadal dostarczają dokładnych danych na temat większości polityków , środki społeczne i ekonomiczne. Jest to zgodne ze spójnym zapisem dokładności osiągniętym przez główne sondaże, jeśli chodzi między innymi o oszacowanie wyników wyborów.

„Nie oznacza to, że spadek odsetka odpowiedzi jest bez konsekwencji. Jednym z istotnych obszarów potencjalnego błędu systematycznego braku odpowiedzi zidentyfikowanych w badaniu jest to, że uczestnicy badania są zwykle znacznie bardziej zaangażowani w aktywność obywatelską niż ci, którzy nie uczestniczą, co potwierdza poprzednie badania wykazały. Ludzie, którzy zgłaszają się na ochotnika, częściej zgadzają się na udział w ankietach niż ci, którzy tego nie robią. Ma to poważne implikacje dla zdolności ankiety do dokładnej oceny zachowań związanych z wolontariatem i aktywnością obywatelską. Na przykład ankiety telefoniczne mogą przeceniać takie zachowania, jak uczęszczanie do kościoła, kontaktowanie się z wybranymi urzędnikami lub uczestnictwo w wydarzeniach kampanii ”.

Czy w USA znane są uprzedzenia związane z ankietami telefonicznymi?

Tak, w Stanach Zjednoczonych znane są uprzedzenia dotyczące sondaży telefonicznych: telefony komórkowe.

Przez długi czas złotym standardem losowych sondaży telefonicznych w USA było losowe wybieranie cyfrowe: maszyny generowały losowe numery telefonów, a ankieterzy zadawali pytania każdemu, kto odebrał. Zakładając, że wszyscy mieli jeden i tylko jeden telefon, ankieta była prostą losową próbą właścicieli telefonów.

Jednak pojawienie się telefonów komórkowych to zmieniło: wiele osób, zwłaszcza młodych, nie ma telefonu stacjonarnego. Nawet w obrębie określonych grup demograficznych (przedział wiekowy, płeć, rasa) te populacje tylko z telefonami komórkowymi mają odmienne postawy polityczne niż populacje posiadające telefony stacjonarne lub oba typy telefonów. Ponieważ zautomatyzowane dialery dzwonią na telefony komórkowe, sieją spustoszenie w sondażach.

Dla ankieterów oznacza to, że muszą używać ludzi, aby dzwonić na wszystkie telefony komórkowe, co jest oczywiście znacznie droższe. Ankieterzy muszą więc z góry zdecydować, ile telefonów komórkowych muszą zadzwonić, aby kontrolować koszty. Liczba połączeń z telefonami komórkowymi musi być zrównoważona z liczbą automatycznych połączeń z telefonami stacjonarnymi w sposób naukowo uzasadniony - wystarczy wybrać wystarczającą liczbę domów tylko z telefonami komórkowymi, domów z telefonami stacjonarnymi i domów, przy czym oba są proporcjonalne do ich liczby mieszkańców, a jednocześnie nie przekraczając ich budżet!

Wpływ telefonów komórkowych prawdopodobnie nie jest źródłem potencjalnego błędu.

Podejrzewam, że ankieterów, że ankieta Washington Times / ABC stosowany jest w pełni świadomy tego wszystkiego, ponieważ, jak skonstruować losową próbkę w świetle „efektu telefon” To dość dużo temat, że wszystkie współczesne odpytywania polityczny ma do czynienia z dzisiaj. Prawdopodobnie ankieterzy podjęli kroki w celu złagodzenia „efektu telefonu komórkowego” w tej ankiecie. Być może ankieterzy mieli zły dzień, a ich losowe wybieranie numerów telefonów komórkowych nie przyniosło wystarczającej liczby rzeczywistych odpowiedzi.

Jeśli występuje błąd, może to być waga próbki.

Innym potencjalnym źródłem stronniczości w tych badaniach jest ważenie próby. Celem ważenia próbek jest zmniejszenie liczby osób, do których trzeba dotrzeć w różnych (kombinacjach) grup demograficznych, poprzez przypisanie różnych wag różnym segmentom populacji. To oczywiście prowadzi do pytania „skąd wiesz, że prawidłowo zważyłeś próbkę?” Właśnie dlatego niektóre firmy ankietowe będą miały oszacowania, które są stale wyższe / niższe niż szacunki innych firm ankietowanych: mają różne metody ważenia próby i konsekwentnie podnoszą wynik w określonym kierunku.

Jest to przykład kompromisu wariancji odchylenia. Ankieterzy mogliby użyć małej, prostej próby losowej, aby uzyskać oszacowanie dużej wariancji. Lub mogą użyć wag, aby zmniejszyć wariancję oszacowania z małej próbki, ale kosztem (statystycznego) błędu.

Ankieterzy (i ogólnie statystycy) muszą zmagać się z kompromisem wariancji uprzedzeń w taki czy inny sposób. Nie musi to oznaczać, że są wrogie lub próbują manipulować opinią publiczną.

Istnieje wiele alternatywnych wyjaśnień.

Istnieje wiele sposobów na zepsucie ankiety, przypadkowo lub celowo. Przeredagowanie pytania może dać różne odpowiedzi dla różnych grup. Odpytywanie push, w którym sformułowane są pytania w celu uzyskania określonej odpowiedzi, jest najbardziej oczywistym i nikczemnym tego przykładem.

Czy organizacja zainteresowana manipulowaniem opinią publiczną wybrałaby ankietę telefoniczną, ankietę internetową lub wywiad na ulicy, gdyby dążyła do określonego uprzedzenia?

To pytanie nie jest całkowicie statystyczne, ponieważ wymaga spekulacji na temat motywów i metod jakiegoś hipotetycznego, wrogiego bytu. Mogę odpowiedzieć tylko częściowo.

Wywiady z ludźmi na ulicy nie są tak naprawdę przypadkowe i prawdopodobnie są stronnicze (w tym sensie, że będą obejmować niektóre grupy w większym odsetku niż inne).

Celem wybierania losowego jest osiągnięcie stanu, w którym wszyscy mają równe prawdopodobieństwo wyboru. Chodzenie na jakiś róg ulicy i przeprowadzanie wywiadów z ludźmi nie do końca to osiąga, ponieważ zazwyczaj obejmujesz osoby mieszkające i pracujące w pobliżu. Jeśli wybierzesz się na ulicę w Waszyngtonie, będziesz mieć prawie 0 szans na wybranie osoby, która nie pochodzi z Waszyngtonu, Maryland czy Wirginii.

Ponadto zastanów się, do której ulicy idziesz. Wywiady z ludźmi na ulicy w, powiedzmy, dzielnicy Cleveland Park w Waszyngtonie będą zupełnie inne niż rozmowy z ludźmi na ulicy w Anacostia: miejsca te mają bardzo odmienny skład demograficzny.

Ankiety online nie są tak naprawdę przypadkowe, ale nie jest jasne, czy jest gorsze niż ankieta telefoniczna.

Populacja osób, które zdecydowały się na udział w ankiecie online, jest populacją samowybierającą, niekoniecznie losowo wybieraną od wszystkich potencjalnych respondentów. Z tego powodu tradycyjni ankieterzy, którzy preferują ankiety telefoniczne, są bardzo sceptyczni wobec ankiet internetowych. Jednak ludzie tacy jak Andrew Gelman są mniej pewni, że końcowy wynik losowo wybieranej ankiety telefonicznej i samodzielnie wybranej ankiety online jest znacząco inny. To bardzo otwarty obszar badań.

Czy organizacja zainteresowana manipulowaniem opinią publiczną wybrałaby ankietę telefoniczną, ankietę internetową lub wywiad na ulicy, gdyby dążyła do określonego uprzedzenia?

Wszystkie metody odpytywania mogą być stronnicze, w tym niektóre inne nie wymienione w pytaniu.

Aby nadmiernie reprezentować starsze punkty widzenia, wybierz ankietę telefoniczną i „zapomnij”, aby znormalizować grupy wiekowe, wiedząc, że młodsi respondenci byli słabo reprezentowani.

Sondowanie ulic bez ustawiania limitów i normalizacji byłoby prawdopodobnie najłatwiejszym sposobem uzyskania uprzedzeń. Zgodnie z Sycorax, po prostu wybierz swoją ulicę. Sondowanie w godzinach pracy lub poza nimi również zmieniłoby wyniki. Byłem kiedyś przesłuchującym na ulicy. Pracowaliśmy nad ścisłym ustaleniem limitów łączących przedział wiekowy, płeć i klasę społeczną, ale w tym byłem świadomy mojej własnej tendencji do zbliżania się do ludzi w ramach limitu, który lubiłem wyglądać (ludzie, którzy byli trochę podobni do mnie, jeśli chcesz) niż osoby w ramach limitu, które miały mniej bezpośredni urok wizualny. I nie sądzę, żeby mieli limity na typy ankieterów!

Brytyjskie gazety tabloidowe regularnie przeprowadzają samodzielnie wybierające „ankiety” typu „tak / nie” własnych czytelników, zwykle na podstawie emocjonalnego wiodącego pytania, zgłaszając wyniki tak, jakby były prawdziwymi reprezentantami populacji, i często mają większe znaczenie niż właściwe, etyczne przeprowadzone ankiety.

Jak skomentował Andy Jones, istnieje o wiele łatwiejszy sposób na stronniczość ankiety. Wybór dat i godzin, korekty sformułowań (szczególnie w ankietach przed i po), pytania wiodące, wytyczne dotyczące ustalania nastroju przed pytaniami lub pytania filtrujące, założenia redukcjonistyczne, ograniczone możliwości odpowiedzi i tak dalej. W Londynie różne sekcje zarządzania ruchem miejskim, zarządzania parkingami i konsultacji społecznych wydają się uczynić takie podstępne techniki specjalnościami.

Zazwyczaj, jeśli wprowadzają ograniczenia ruchu, skonsultują się tylko z mieszkańcami w wąskim pobliskim obszarze, a kierowcy w ogóle nie. Mieszkańcy dostaną przez drzwi kartę do zaznaczenia, a może dwie karty w dużej starej nieruchomości, która jest podzielona na pięć lub siedem oddzielnych mieszkań.

Naprawdę bezkonkurencyjną formą stronniczości ankiet, choć nie jest częścią samego procesu odpytywania, jest przeprowadzenie jej w jakikolwiek sposób (np. Idealnie), a następnie po prostu stłumienie wyników, jeśli nie są odpowiednie. Stowarzyszenie mieszkańców dla obszaru, w którym kiedyś mieszkałem, kontrolowane żelazną ręką przez bardzo manipulującego urzędnika związku zawodowego, właśnie to zrobiło.

Wreszcie, w 2004 roku, wracając z wakacji na lotnisku Stansted, stanąłem wobec „drzwi” składających się z podwójnej ściany z pleksiglasu i detektora ruchu. Pasażerowie zostali zaproszeni do przejścia przez te opcjonalne drzwi, jeśli chcieli, aby Olimpiada odbyła się w Londynie. Znaczna mniejszość opinii publicznej w tym czasie nie była entuzjastycznie nastawiona do otrzymania ogromnego rachunku za próżne wydarzenie, przypominając greckie obciążenia fiskalne i korupcję w Utah, a zespół London Back the Bid próbował zdobyć poparcie.

Możesz przejść przez drzwi tyle razy, ile chcesz, aby zarejestrować „głos” (tak to nazywano) za każdym razem na olimpiadę, ku uciesze rodzin z małymi dziećmi. Niestety, zapomnieli zapewnić drugie wejście dla ludzi, którzy nie chcieli dużego rachunku przez 30 lat, lub dla ludzi takich jak ja, którzy uważali, że Paryż jest wart tego wydarzenia.

Co dziwne, wynik w stylu radzieckim był taki, że 100% Brytyjczyków chciało igrzysk olimpijskich. Nadal będę za nie płacił długo po przejściu na emeryturę. Przydatne rzeczy, ankiety.