Ocena wiarygodności kwestionariusza: wymiarowość, problematyczne elementy i czy użyć alfa, lambda6 lub jakiegoś innego indeksu?

Analizuję wyniki podane przez uczestników biorących udział w eksperymencie. Chcę oszacować wiarygodność mojego kwestionariusza, który składa się z 6 pozycji, mających na celu oszacowanie stosunku uczestników do produktu.

Obliczyłem alfa Cronbacha traktującego wszystkie elementy jako pojedynczą skalę (alfa wynosiła około 0,6) i usuwając jeden element na raz (maksymalna alfa wynosiła około 0,72). Wiem, że alfa można nie docenić i przecenić w zależności od liczby elementów i wymiarów konstruktu leżącego u podstaw. Więc też wykonałem PCA. Analiza wykazała, że ​​istniały trzy główne elementy wyjaśniające około 80% wariancji. Więc moje pytania dotyczą tego, jak mogę teraz kontynuować?

• Czy muszę wykonywać obliczenia alfa dla każdego z tych wymiarów?
• Czy usunąłem elementy wpływające na niezawodność?

Co więcej, szukając w Internecie odkryłem, że istnieje jeszcze jedna miara niezawodności: lambda6 guttmana.

• Jakie są główne różnice między tą miarą a alfą?
• Jaka jest dobra wartość lambda?

Myślę, że @Jeromy już powiedział, że jest to niezbędne, więc skoncentruję się na miarach niezawodności.

Alfa Cronbacha jest indeksem zależnym od próbki stosowanym do ustalenia dolnej granicy niezawodności przyrządu. Jest to jedynie wskaźnik wariancji wspólny dla wszystkich pozycji uwzględnionych przy obliczaniu wyniku skali. Dlatego nie należy go mylić z absolutną miarą wiarygodności, ani nie ma zastosowania do instrumentu wielowymiarowego jako całości. W efekcie przyjmuje się następujące założenia: (a) brak korelacji resztkowych, (b) przedmioty mają identyczne obciążenia, oraz (c) skala jest jednowymiarowa. Oznacza to, że jedyny przypadek, w którym alfa będzie zasadniczo taki sam jak niezawodnośćjest w przypadku jednakowo wysokich ładunków czynnikowych, braku kowariancji błędów i instrumentu jednowymiarowego (1). Ponieważ jego precyzja zależy od standardowego błędu wzajemnych korelacji między przedmiotami, zależy to od rozprzestrzeniania się korelacji między przedmiotami, co oznacza, że ​​alfa będzie odzwierciedlać ten zakres korelacji niezależnie od źródła lub źródeł tego konkretnego zakresu (np. Błąd pomiaru lub wielowymiarowość). Ten punkt jest w dużej mierze omawiany w (2). Warto zauważyć, że gdy alfa wynosi 0,70, powszechnie stosowany próg niezawodności dla celów porównania grup (3,4), błąd standardowy pomiaru będzie wynosił ponad połowę (0,55) odchylenia standardowego. Co więcej, alfa Cronbacha jest miarą wewnętrznej spójności, nie jest to miara jednowymiarowości i nie można jej użyć do wnioskowania o jednowymiarowości (5). Na koniec możemy zacytować samego LJ Cronbacha,

Współczynniki są prymitywnym urządzeniem, które nie przynosi na powierzchnię wielu subtelności wynikających z komponentów wariancji. W szczególności interpretacje dokonywane w bieżących ocenach najlepiej oceniać, stosując standardowy błąd pomiaru. --- Cronbach i Shavelson, (6)

Istnieje wiele innych pułapek, które zostały omówione w wielu artykułach w ciągu ostatnich 10 lat (np. 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Bibliografia

1. Raykov, T. (1997). Rzetelność skali, współczynnik alfa Cronbacha i naruszenia zasadniczych równoważności tau dla ustalonych składników kongenerycznych. Multivariate Behavioural Research , 32, 329-354.
2. Cortina, JM (1993). Co to jest współczynnik alfa? Badanie teorii i aplikacji . Journal of Applied Psychology , 78 (1), 98-104.
3. Nunnally, JC i Bernstein, IH (1994). Teoria psychometryczna . McGraw-Hill Series in Psychology, wydanie trzecie.
4. De Vaus, D. (2002). Analiza danych nauk społecznych . Londyn: Sage Publications.
5. Duńczycy, JE i Mann, OK. (1984). Pomiar jednowymiarowy i modele równań strukturalnych ze zmiennymi utajonymi. Journal of Business Research , 12, 337-352.
6. Cronbach, LJ i Shavelson, RJ (2004). Moje obecne przemyślenia na temat współczynników alfa i procedur następczych . Pomiary edukacyjne i psychologiczne , 64 (3), 391–418.
7. Schmitt, N. (1996). Zastosowania i nadużycia współczynnika alfa . Ocena psychologiczna , 8 (4), 350-353.
8. Iacobucci, D. i Duhachek, A. (2003). Zaawansowana alfa: pomiar niezawodności z pewnością . Journal of Consumer Psychology , 13 (4), 478–487.
9. Shevlin, M., Miles, JNV, Davies, MNO, i Walker, S. (2000). Współczynnik alfa: przydatny wskaźnik niezawodności? Osobowość i różnice indywidualne , 28, 229–237.
10. Fong, DYT, Ho, SY i Lam, TH (2010). Ocena wewnętrznej wiarygodności w przypadku niespójnych odpowiedzi . Zdrowie i jakość życia , 8, 27.
11. Guttman, L. (1945). Podstawa do analizy wiarygodności testu-testu. Psychometrika , 10 (4), 255–282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. i Zinbarg, RE (2009) Współczynniki alfa, beta, omega i glb: komentarze do Sijtsma . Psychometrika , 74 (1), 145-154

Oto kilka ogólnych komentarzy:

• PCA : Analiza PCA nie „ujawnia, że ​​istnieją trzy główne elementy”. Wybrałeś wyodrębnić trzy wymiary lub polegałeś na pewnej domyślnej zasadzie (zwykle wartości własne powyżej 1), aby zdecydować, ile wymiarów chcesz wyodrębnić. Ponadto wartości własne ponad jeden często wyodrębniają więcej wymiarów niż jest to przydatne.
• Ocena wymiarowości przedmiotów: Zgadzam się, że możesz użyć PCA do oceny wymiarowości przedmiotów. Uważam jednak, że spojrzenie na wykres piargowy może zapewnić lepsze wskazówki dotyczące liczby wymiarów. Możesz sprawdzić tę stronę Williama Revelle'a na temat oceny wymiarów skali .
• Jak postępować?
  • Jeśli skala jest dobrze ustalona , możesz pozostawić ją taką, jaka jest (zakładając, że jej właściwości są co najmniej rozsądne; chociaż w twoim przypadku 0,6 jest stosunkowo słaba według większości standardów).
  • Jeśli skala nie jest dobrze ustalona , powinieneś teoretycznie rozważyć, jakie elementy mają być mierzone i do jakiego celu chcesz użyć skali wynikowej. Biorąc pod uwagę, że masz tylko sześć przedmiotów, nie masz zbyt wiele miejsca na tworzenie wielu skal bez spadania do niepokojącej liczby przedmiotów na skalę. Jednocześnie dobrym pomysłem jest sprawdzenie, czy występują jakieś problematyczne elementy na podstawie podłogi, sufitu lub problemów z niską niezawodnością. Możesz także sprawdzić, czy jakieś elementy wymagają odwrócenia.
  • Złożyłem kilka linków do ogólnych zasobów dotyczących rozwoju skali, które mogą okazać się pomocne

Poniższe pytania dotyczą konkretnych pytań:

• Czy muszę wykonywać obliczenia alfa dla każdego z tych wymiarów?
  • Jak możesz wyciągnąć z powyższej dyskusji, nie sądzę, że powinieneś traktować swoje dane tak, jakbyś miał trzy wymiary. Istnieje szereg argumentów, które możesz przedstawić w zależności od swoich celów i szczegółów, więc trudno jest dokładnie powiedzieć, co robić. W większości przypadków chciałbym stworzyć przynajmniej jedną dobrą skalę (być może usunięcie elementu) zamiast trzech niewiarygodnych skal.
• Czy usunąłem elementy wpływające na niezawodność?
  • To zależy od Ciebie. Jeśli skala jest ustalona, ​​możesz tego nie robić. Jeśli twoja próbka jest mała, może to być anomalia losowego próbkowania. Jednak ogólnie rzecz biorąc, byłbym skłonny usunąć element, jeśli naprawdę upuszczał twoją alfę z 0,72 na 0,60. Sprawdziłbym również, czy ten problematyczny element nie jest tak naprawdę przeznaczony do odwrócenia.

Dyskusję o lambda 6 ( omówioną tutaj przez Williama Revelle'a ) zostawię innym.