Komplikacje posiadania bardzo małej próbki w modelu równań strukturalnych

Korzystam z modelu równań strukturalnych (SEM) w Amos 18. Szukałem 100 uczestników do mojego eksperymentu (używanego luźno), który prawdopodobnie został uznany za niewystarczający do przeprowadzenia udanego SEM. Wielokrotnie mówiono mi, że SEM (wraz z EFA, CFA) jest procedurą statystyczną „dużej próby”. Krótko mówiąc, nie dotarłem do 100 uczestników (co za niespodzianka!) I mam tylko 42 po wykluczeniu dwóch problematycznych punktów danych. Mimo zainteresowania wypróbowałem model i tak, ku mojemu zaskoczeniu, pasowało bardzo dobrze! CFI> .95, RMSEA <.09, SRMR <.08.

Model nie jest prosty, w rzeczywistości powiedziałbym, że jest stosunkowo złożony. Mam dwie ukryte zmienne, jedną z dwiema obserwowanymi, a drugą z 5 obserwowanymi zmiennymi. Mam również cztery dodatkowe obserwowane zmienne w modelu. Istnieje wiele zależności między zmiennymi, pośrednimi i bezpośrednimi, przy czym niektóre zmienne są endogenne dla czterech innych, na przykład.

Jestem trochę nowy w SEM; jednak dwie znane mi osoby, które są dość dobrze zaznajomione z SEM, mówią mi, że tak długo, jak wskazania dopasowania są dobre, efekty są interpretowalne (o ile są znaczące) i nie ma nic istotnie „złego” w modelu. Wiem, że pewne wskazania dotyczące dopasowania są stronnicze w stosunku do małych próbek lub w stosunku do nich, jeśli chodzi o sugerowanie dobrego dopasowania, ale trzy, o których wspomniałem wcześniej, wydają się w porządku i nie sądzę, aby były podobnie tendencyjne. Aby przetestować efekty pośrednie, używam bootstrapowania (około 2000 próbek), 90 procent pewności poprawionej odchylenia, Monte Carlo. Dodatkowa uwaga jest taka, że ​​korzystam z trzech różnych SEM dla trzech różnych warunków.

Mam dwa pytania, które chciałbym rozważyć niektórzy z was i proszę odpowiedzieć, jeśli macie coś do powiedzenia:

1. Czy są jakieś znaczące słabości mojego modelu, których nie wykazują wskaźniki dopasowania? Mała próbka zostanie podkreślona jako słabość badania, ale zastanawiam się, czy istnieje jakiś ogromny problem statystyczny, którego jestem całkowicie nieświadomy. Planuję pozyskać kolejnych 10-20 uczestników w przyszłości, ale nadal pozostawi mi to stosunkowo małą próbkę do takich analiz.

2. Czy są jakieś problemy z korzystaniem z ładowania początkowego, biorąc pod uwagę moją małą próbkę lub kontekst, w którym go używam?

Mam nadzieję, że te pytania nie są zbyt „podstawowe” dla tego forum. Przeczytałem wiele rozdziałów na temat SEM i powiązanych zagadnień, ale uważam, że ludzie są bardzo rozproszeni pod względem opinii w tej dziedzinie!

Twoje zdrowie

Jeden punkt: nie ma czegoś takiego jak „podstawowe pytanie”, wiesz tylko to, co wiesz, a nie to, czego nie wiesz. zadawanie pytań jest często jedynym sposobem, aby się dowiedzieć.

Kiedykolwiek zobaczysz małe próbki, dowiesz się, kto naprawdę ma „wiarę” w swoje modele, a kto nie. Mówię to, ponieważ małe próbki są zwykle tam, gdzie modele mają największy wpływ.

Sam będąc zapalonym (psycho?) Modelarzem, mówię: idź! Wydaje się, że przyjmujesz ostrożne podejście i potwierdziłeś potencjalne uprzedzenia itp. Ze względu na małą próbkę. Jedną z rzeczy, o których należy pamiętać przy dopasowywaniu modeli do małych danych, jest to, że masz 12 zmiennych. Teraz powinieneś pomyśleć - jak dobrze można by określić model z 12 zmiennymi na podstawie 42 obserwacji? Gdybyś miał 42 zmienne, każdy model mógłby idealnie pasować do tych 42 obserwacji (luźno mówiąc), więc twój przypadek nie jest zbyt daleko od zbytniej elastyczności. Co się stanie, gdy twój model będzie zbyt elastyczny? Ma tendencję do dopasowywania się do hałasu - to znaczy relacji, które są określone przez rzeczy inne niż te, które podejrzewasz.

Masz również okazję umieścić swoje ego tam, gdzie jest twój model, przewidując, jakie będą przyszłe 10-20 próbek z twojego modelu. Zastanawiam się, jak twoi krytycy zareagują na tak zwany „podejrzany” model, który daje właściwe prognozy. Zwróć uwagę, że otrzymasz podobne „Powiedziałem ci tak”, jeśli Twój model nie przewiduje dobrze danych.

Innym sposobem, aby upewnić się, że wyniki są wiarygodne, jest próba ich złamania. Utrzymując nienaruszone oryginalne dane, utwórz nowy zestaw danych i zobacz, co musisz zrobić z tym nowym zestawem danych, aby wyniki SEM wydawały się śmieszne. Następnie spójrz na to, co musiałeś zrobić i zastanów się: czy to rozsądny scenariusz? Czy moje „śmieszne” dane przypominają prawdziwą możliwość? Jeśli musisz przenieść swoje dane na absurdalne terytorium w celu uzyskania absurdalnych wyników, daje to pewną (heurystyczną, nieformalną) pewność, że twoja metoda jest solidna.

Głównym problemem, jaki tu widzę, jest brak mocy. Czynnik potwierdzający i testy SEM sprawdzają się, aby zaakceptować wartość zerową - chcesz zobaczyć nieistotną wartość p - więc brak mocy może stanowić problem. Moc testu zależy od wielkości próbki (42) i stopni swobody. AMOS daje stopnie swobody. Nie zacytowałeś go, ale w tym przypadku nie będzie on duży. Przy 12 zmiennych zaczynasz od 66 DF i odejmujesz 1 dla każdego szacowanego parametru. Nie wiem, ile by to było, ale mówisz, że masz kilka czynników i korelacji między różnymi konstrukcjami.

Nie do końca zgadzam się z Rolando2. W SEM zyskujesz, mając wiele zmiennych, zakładając, że są one wiarygodnymi wskaźnikami podstawowych konstrukcji. Więc nie zmniejszaj liczby zmiennych. Z tego samego powodu nie do końca zgadzam się z @probabilityislogic. W SEM nie próbujesz modelować 12 zmiennych za pomocą 42 obserwacji. Próbujesz modelować konstrukcje za pomocą 12 wskaźników, wzmocnionych przez 42 replikacje. Bardzo prosty model czynnikowy - 1 czynnik z 12 wskaźnikami - prawdopodobnie mógłby zostać przetestowany z 42 osobami.

RMSEA i inne miary dobroci dopasowania będą się poprawiać, gdy zbliżysz się do nasycenia modelu, więc ponownie ryzykujesz wprowadzeniem w błąd.

To powiedziawszy, widziałem, jak małe zestawy danych odrzucają model czynników. Prawdopodobnie oznacza to, że dopasowanie wydaje się dobre.

Uwaga: Można również sprawdzić resztki modelu SEM. Są to różnice między szacunkową macierzą kowariancji a modelową macierzą kowariancji. AMOS je ci przekaże, jeśli o to poprosisz. Badanie pozostałości może wykazać, czy są one równomiernie rozmieszczone lub czy pewne kowariancje są bardzo źle dopasowane.