Co zrobić, gdy CFA pasujące do skali wielu elementów jest złe?

Nie jestem pewien, jak postępować z tym CFA, który robię w lawie. Mam próbkę 172 uczestników (wiem, że to niewiele w przypadku CFA) i 28 przedmiotów z 7-punktowymi skalami Likerta, które powinny obciążyć siedem czynników. Zrobiłem CFA z estymatorami „mlm”, ale dopasowanie modelu było naprawdę złe (χ2 (df = 329) = 739,36; porównawczy wskaźnik dopasowania (CFI) = 0,69; znormalizowana średnia kwadratowa resztkowa resztkowa (SRMR) =. 10; średni błąd kwadratowy przybliżenia (RMSEA) = 0,09; 90% przedział ufności RMSEA (CI) = [0,08, .10]).

Próbowałem następujące:

• model bifactor z jednym ogólnym współczynnikiem metody -> nie zbiegał się.

• estymatory danych porządkowych („WLSMV”) -> Dopasowanie modelu: (χ2 (df = 329) = 462; wskaźnik dopasowania porównawczego (CFI) = .81; znormalizowana średnia kwadratowa wartość rezydualna (SRMR) =. 09; błąd średniej kwadratowej pierwiastka przybliżenia (RMSEA) = 0,05; RMSEA 90% przedział ufności (CI) = [0,04, 0,06])

• zmniejszanie modelu o przedmioty obciążone niskim współczynnikiem i dodające kowariancje między poszczególnymi elementami -> Dopasowanie modelu: χ2 (df = 210) = 295; porównawczy wskaźnik dopasowania (CFI) = 0,86; znormalizowany pierwiastkowy średni kwadrat resztkowy (SRMR) = 0,08; średni błąd kwadratowy przybliżenia (RMSEA) = 0,07; RMSEA 90% przedział ufności (CI) = [0,06; 0,08].

Teraz moje pytania:

• Co mam zrobić z takim modelem?

• Co byłoby poprawne statystycznie?

• Zgłosić, że pasuje lub nie pasuje? A który z tych modeli?

Z przyjemnością przeprowadzę z tobą dyskusję na ten temat.

Oto wynik lavaan CFA oryginalnego modelu:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Wróć do analizy eksploracyjnej

Jeśli dostajesz bardzo złe CFA, to często jest to znak, że zbyt szybko skoczyłeś na CFA. Powróć do eksploracyjnej analizy czynnikowej, aby dowiedzieć się o strukturze swojego testu. Jeśli masz dużą próbkę (w twoim przypadku nie masz), możesz podzielić próbkę, aby uzyskać próbkę eksploracyjną i potwierdzającą.

• Zastosuj eksploracyjne procedury analizy czynników, aby sprawdzić, czy teoretyczna liczba czynników wydaje się uzasadniona. Sprawdziłbym fabułę piachu, żeby zobaczyć, co to sugeruje. Następnie sprawdziłbym macierz obróconego obciążenia czynnikowego z teoretyczną liczbą czynników, a także z jednym lub dwoma dodatkowymi i jednym lub dwoma mniejszymi czynnikami. Często można zobaczyć oznaki niedostatecznej lub nadmiernej ekstrakcji czynników, patrząc na takie matryce ładujące czynniki.
• Użyj eksploracyjnej analizy czynnikowej, aby zidentyfikować problematyczne elementy. W szczególności przedmioty, które ładują się najwięcej na nie teoretycznym czynniku, przedmioty o dużych obciążeniach krzyżowych, przedmioty, które nie ładują się wysoko na żadnym czynniku.

Zaletą EFA jest to, że daje dużo swobody, dzięki czemu dowiesz się więcej o strukturze testu niż tylko patrząc na wskaźniki modyfikacji CFA.

W każdym razie, mam nadzieję, że z tego procesu mogłeś zidentyfikować kilka problemów i rozwiązań. Na przykład możesz upuścić kilka przedmiotów; możesz zaktualizować swój teoretyczny model liczby czynników i tak dalej.

2. Popraw dopasowanie analizy czynnikowej

Można tu wymienić wiele kwestii:

CFA na wagach z wieloma artykułami na skali często słabo radzą sobie z tradycyjnymi standardami. To często prowadzi ludzi (i uważam, że ta reakcja jest często niefortunna) do tworzenia paczek z przedmiotami lub używania tylko trzech lub czterech przedmiotów na skalę. Problem polega na tym, że zwykle proponowane struktury CFA nie wychwytują małych niuansów w danych (np. Małe obciążenia krzyżowe, elementy w teście, które korelują nieco bardziej niż inne, drobne czynniki uciążliwe). Są one wzmacniane przez wiele elementów na skalę.

Oto kilka odpowiedzi na powyższą sytuację:

• Wykonaj eksploracyjną SEM, która pozwala na różne małe obciążenia krzyżowe i powiązane terminy
• Sprawdź wskaźniki modyfikacji i włącz jedne z największych uzasadnionych modyfikacji; np. kilka skorelowanych reszt w skali; kilka obciążeń krzyżowych. patrz modificationindices(fit)w lavaan.
• Użyj parowania pozycji, aby zmniejszyć liczbę obserwowanych zmiennych

Uwagi ogólne

Ogólnie rzecz biorąc, jeśli twój model CFA jest naprawdę zły, wróć do EFA, aby dowiedzieć się więcej o swojej skali. Alternatywnie, jeśli Twoja EFA jest dobra, a Twoje CFA wygląda trochę źle z powodu dobrze znanych problemów z posiadaniem wielu przedmiotów na skalę, wówczas odpowiednie są standardowe podejścia CFA, jak wspomniano powyżej.

Pracowałbym nad próbą uzyskania zbieżności modelu bifaktora. Spróbuj dostosować wartości początkowe ... może to być podejrzane podejście, więc pamiętaj o tym i interpretuj ostrożnie. Przeczytaj o niebezpieczeństwach związanych z interpretacją modeli, które opierają się konwergencji, jeśli chcesz być naprawdę ostrożny - przyznaję, że nie zrobiłem tego zbyt wiele sam w badaniu SEM, więc sugeruję zrobienie tego, co musisz zrobić, aby uzyskać model zbiegają się głównie dla Twojej korzyści. Nie wiem, czy będzie on bardziej odpowiedni do publikacji, ale jeśli wyraźnie nie jest tak, ponieważ model bifaktora również nie pasuje dobrze, może to być dobre dla ciebie.

W przeciwnym razie wygląda na to, że zrobiłeś tyle, ile możesz z posiadanymi danymi. AFAIK (ostatnio głęboko zastanawiałem się nad własnym projektem metodologicznym, więc poprawcie mnie, jeśli się mylę !!), oszacowanie WLSMV w lavaanprogach wykorzystania korelacji polichorycznych, co jest najlepszym sposobem na dobre dopasowanie indeksy z CFA danych porządkowych. Zakładając, że poprawnie określiłeś swój model (lub przynajmniej optymalnie), to wszystko, co możesz zrobić. Usuwanie przedmiotów o niskim obciążeniu i swobodne szacowanie kowariancji między przedmiotami posuwa się nawet daleko, ale i ty tego próbowałeś.

Twój model nie pasuje dobrze do konwencjonalnych standardów, jak zapewne wiesz. Oczywiście nie powinieneś mówić, że pasuje dobrze, kiedy nie. Dotyczy to wszystkich zestawów statystyk dopasowania, które tutaj zgłaszasz, niestety (zakładam, że miałeś nadzieję, że będą pasować). Niektóre statystyki dopasowania są dość słabe, nie są wcale złe (RMSEA = .05 jest do przyjęcia), ale ogólnie rzecz biorąc, żadna z nich nie jest dobrą wiadomością i masz obowiązek być uczciwy, jeśli zamierzasz publikować te wyniki. Mam nadzieję, że możesz, FWIW.

Tak czy inaczej, możesz rozważyć zebranie większej ilości danych, jeśli możesz; to może pomóc, w zależności od tego, czego szukasz. Jeśli Twoim celem jest test potwierdzający hipotezę, cóż, „zerknąłeś” na swoje dane i zwiększysz poziom błędu, jeśli użyjesz go ponownie w rozszerzonej próbce, więc chyba że możesz po prostu odłożyć ten zestaw danych na bok i powielić całość, świeży, większy, masz trudny scenariusz. Jeśli jednak najbardziej interesuje Cię szacowanie parametrów i zawężanie przedziałów ufności, myślę, że rozsądne byłoby po prostu zgromadzenie jak największej ilości danych, w tym tych, które już tutaj wykorzystałeś. Jeśli możesz uzyskać więcej danych, możesz uzyskać lepsze wskaźniki dopasowania, co zwiększy wiarygodność oszacowań parametrów. Mam nadzieję, że to wystarczy.