Zarówno klasyczna teoria testów (CTT), jak i teoria odpowiedzi na elementy (IRT) mogą dostarczyć wskazówek, które elementy przyczyniają się do ukrytej cechy, którą chcesz zmierzyć, a które nie. W przypadku CTT rozważ 1) trudność przedmiotu, 2) korelację przedmiotu z całkowitym wynikiem, 3) wariancję przedmiotu i 4) wpływ na oszacowania wewnętrznej spójności (np. Alfa Cronbacha), jeśli przedmiot zostanie usunięty.
Elementy, które są zbyt łatwe lub zbyt trudne, zwykle nie pomagają w oddzieleniu przedmiotu (rozróżnienie między osobami o wysokim i niskim wyniku). Jeśli nie jesteś zainteresowany pomiarem różnic między najlepszymi, należy rozważyć bardzo trudne pytania do usunięcia. W podobny sposób bardzo proste przedmioty są odpowiednie tylko wtedy, gdy interesuje Cię wydajność słabych wyników.
Wszystkie elementy powinny korelować dodatnio z całkowitym wynikiem i możesz ustalić dolną granicę dla tej korelacji około 0,20 jako orientację. Niskie korelacje lub korelacje ujemne mogą wskazywać, że w kwestionariuszu występują problemy z sformułowaniem i że pytanie powinno zostać odwrócone.
Pozycje o niskiej wariancji (zmienność wyników) należy rozważyć do usunięcia, ponieważ nie rozdzielają one przedmiotów i nie przyczyniają się do informacji zebranych z ankiety. Przedmioty o bardzo dużej wariancji mogą mierzyć coś innego niż konstrukcję / cechę, którą chcesz zmierzyć.
Jeśli oszacowanie wewnętrznej spójności poprawi się po usunięciu elementu, wówczas element należy rozważyć do usunięcia lub przeformułowania.
Elementy, które wszyscy poprawiają, są czasami maksymalnymi przedmiotami, a te, które wszyscy się mylą, są czasami nazywane elementami minimalnymi. Nie przyczyniają się do informacji, które próbujesz zgromadzić.
Jeśli opracowujesz kwestionariusz wysokiego ryzyka lub planujesz marketing kwestionariusza, zdecydowanie powinieneś rozważyć IRT. Jest to jednak duży obszar tematyczny i chyba, że jesteś naprawdę zainteresowany, prawdopodobnie nie warto tu zajmować miejsca.
Mam nadzieję że to pomoże.