Moim zdaniem istnieją dwa podstawowe problemy z badaniami obserwacyjnymi, które „kontrolują” szereg niezależnych zmiennych. 1) Masz problem z pominięciem zmiennych objaśniających, a tym samym błędnej specyfikacji modelu. 2) Masz problem z wieloma skorelowanymi zmiennymi niezależnymi - problem, który nie istnieje w (dobrze) zaprojektowanych eksperymentach - oraz fakt, że współczynniki regresji i testy współzmiennych ANCOVA oparte są na częściach cząstkowych, co czyni je trudnymi do interpretacji. Pierwszy jest nieodłączny od charakteru badań obserwacyjnych i jest poruszany w kontekście naukowym oraz w procesie konkurencyjnego opracowywania. Ta ostatnia jest kwestią edukacji i polega na jasnym zrozumieniu modeli regresji i ANCOVA oraz dokładnie na tym, co reprezentują te współczynniki.
W odniesieniu do pierwszego zagadnienia łatwo jest wykazać, że jeśli wszystkie wpływy na niektóre zmienne zależne są znane i uwzględnione w modelu, statystyczne metody kontroli są skuteczne i dają dobre prognozy i szacunki skutków dla poszczególnych zmiennych. Problem w „naukach miękkich” polega na tym, że wszystkie istotne wpływy są rzadko uwzględniane lub nawet znane, a zatem modele są słabo określone i trudne do interpretacji. Istnieje jednak wiele wartościowych problemów w tych dziedzinach. Odpowiedzi po prostu nie mają pewności. Piękno procesu naukowego polega na tym, że jest on samokorekty, a modele są kwestionowane, opracowywane i udoskonalane. Alternatywą jest zasugerowanie, że nie możemy badać tych problemów naukowo, gdy nie możemy zaprojektować eksperymentów.
Druga kwestia to kwestia techniczna w naturze modeli ANCOVA i regresji. Analitycy muszą wyjaśnić, co reprezentują te współczynniki i testy. Korelacje między zmiennymi niezależnymi wpływają na współczynniki regresji i testy ANCOVA. Są to testy częściowe. Modele te pobierają wariancję danej zmiennej niezależnej i zmiennej zależnej, które są powiązane ze wszystkimi innymi zmiennymi w modelu, a następnie badają związek w tych resztach. W rezultacie indywidualne współczynniki i testy są bardzo trudne do interpretacji poza kontekstem jasnego pojęciowego zrozumienia całego zestawu zmiennych i ich wzajemnych powiązań. Nie stwarza to jednak żadnych problemów z prognozowaniem - zachowaj ostrożność przy interpretacji określonych testów i współczynników.
Uwaga dodatkowa: ta ostatnia kwestia jest związana z problemem omówionym wcześniej na tym forum dotyczącym odwracania znaków regresji - np. Z ujemnego na dodatni - gdy inne predyktory są wprowadzane do modelu. W obecności skorelowanych predyktorów i bez jasnego zrozumienia wielorakich i złożonych zależności między całym zestawem predyktorów, nie ma powodu OCZEKIWAĆ (z natury częściowego) współczynnika regresji na określony znak. Kiedy istnieje mocna teoria i jasne zrozumienie tych wzajemnych powiązań, takie „odwrócenie” znaków może być pouczające i teoretycznie przydatne. Chociaż, biorąc pod uwagę złożoność wielu problemów nauk społecznych, wystarczające zrozumienie nie byłoby powszechne, oczekiwałbym.
Oświadczenie: Jestem z wykształcenia socjologiem i analitykiem polityki publicznej.