Identyfikacja bezużytecznych pytań z kwestionariusza


12

Opracowuję kwestionariusz. Aby poprawić jego niezawodność i aktualność, chcę zastosować metody statystyczne.

Chcę wyeliminować pytania, których odpowiedzi są zawsze takie same. Oznacza to, że prawie wszyscy uczestnicy udzielili takich samych odpowiedzi na te pytania.

Teraz moje pytania to:

  1. Jaki jest termin techniczny na takie bezużyteczne pytania, których odpowiedzi są zawsze takie same, niezależnie od kontekstu użytkowania?
  2. Jakie są metody identyfikacji takich pytań?

4
Nie znam specjalnej nazwy dla pytań, na które wszyscy udzielają tej samej odpowiedzi (być może ktoś inny). Prawdopodobnie nazwałbym ich „nieinformacyjnymi”. Prawdopodobnie nie powodują większych szkód poza marnowaniem czasu respondentów. Zdecydowanie powinieneś się ich pozbyć, ale mogę bardziej ogólnie skupić się na wyszukiwaniu i usuwaniu pytań, które nie korelują w / („obciążenie”) ukrytych zmiennych, które chcesz ocenić.
Gung - Przywróć Monikę

7
Ogólna zasada jest taka, że ​​jeśli 80% respondentów udzieli tej samej odpowiedzi, pytanie nie ma charakteru informacyjnego. ALE - czasami chcesz to wiedzieć. „Czy jesteś mordercą” według tej zasady nie jest pytaniem o charakterze informacyjnym, ale naprawdę chcesz to wiedzieć, zanim uzyskasz nowego współlokatora. Więc nie ma twardych i szybkich zasad.
Jeremy Miles,

4
Takie pytania (z bardzo małą zmiennością) są złe jako miary cechy, do której należą. Ale czasem są uwzględnieni i pomagają wytropić kłamców lub szyderców.
ttnphns

Odpowiedzi:


9

Zarówno klasyczna teoria testów (CTT), jak i teoria odpowiedzi na elementy (IRT) mogą dostarczyć wskazówek, które elementy przyczyniają się do ukrytej cechy, którą chcesz zmierzyć, a które nie. W przypadku CTT rozważ 1) trudność przedmiotu, 2) korelację przedmiotu z całkowitym wynikiem, 3) wariancję przedmiotu i 4) wpływ na oszacowania wewnętrznej spójności (np. Alfa Cronbacha), jeśli przedmiot zostanie usunięty.

Elementy, które są zbyt łatwe lub zbyt trudne, zwykle nie pomagają w oddzieleniu przedmiotu (rozróżnienie między osobami o wysokim i niskim wyniku). Jeśli nie jesteś zainteresowany pomiarem różnic między najlepszymi, należy rozważyć bardzo trudne pytania do usunięcia. W podobny sposób bardzo proste przedmioty są odpowiednie tylko wtedy, gdy interesuje Cię wydajność słabych wyników.

Wszystkie elementy powinny korelować dodatnio z całkowitym wynikiem i możesz ustalić dolną granicę dla tej korelacji około 0,20 jako orientację. Niskie korelacje lub korelacje ujemne mogą wskazywać, że w kwestionariuszu występują problemy z sformułowaniem i że pytanie powinno zostać odwrócone.

Pozycje o niskiej wariancji (zmienność wyników) należy rozważyć do usunięcia, ponieważ nie rozdzielają one przedmiotów i nie przyczyniają się do informacji zebranych z ankiety. Przedmioty o bardzo dużej wariancji mogą mierzyć coś innego niż konstrukcję / cechę, którą chcesz zmierzyć.

Jeśli oszacowanie wewnętrznej spójności poprawi się po usunięciu elementu, wówczas element należy rozważyć do usunięcia lub przeformułowania.

Elementy, które wszyscy poprawiają, są czasami maksymalnymi przedmiotami, a te, które wszyscy się mylą, są czasami nazywane elementami minimalnymi. Nie przyczyniają się do informacji, które próbujesz zgromadzić.

Jeśli opracowujesz kwestionariusz wysokiego ryzyka lub planujesz marketing kwestionariusza, zdecydowanie powinieneś rozważyć IRT. Jest to jednak duży obszar tematyczny i chyba, że ​​jesteś naprawdę zainteresowany, prawdopodobnie nie warto tu zajmować miejsca.

Mam nadzieję że to pomoże.


4

Uważam, że szukasz Teorii Reakcji na Przedmiot. „Bezużyteczne” pytania, na które się powołujesz, są produktami o złej dyskryminacji. Za pomocą analizy IRT możesz obliczyć dyskryminację, trudność i związane z nią prawdopodobieństwo zgadnięcia przedmiotów przez uczestników ankiety. Program R ma łatwy pakiet do używania IRT i wyobrażam sobie, że robią to również inne pakiety oprogramowania statystycznego.

Jeśli chcesz szybki przegląd tutaj, jest strona wikipedia, ale radziłbym zbadać ją bardziej. http://en.wikipedia.org/wiki/Item_response_theory

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.