Jakie inne transformacje normalizujące są powszechnie stosowane poza zwykłymi, takimi jak pierwiastek kwadratowy, log itp.?

W analizie wyników testu (np. W edukacji lub psychologii) powszechne techniki analizy często zakładają, że dane są zwykle dystrybuowane. Jednak być może częściej niż nie, wyniki często odbiegają od normy.

Znam kilka podstawowych transformacji normalizujących, takich jak: pierwiastki kwadratowe, logarytmy, odwrotne transformacje do zmniejszania skosu dodatniego, odbite wersje powyższych dla zmniejszania skosu ujemnego, kwadraty dla rozkładów leptokurtycznych. Słyszałem o transformacjach łukowych i transformacjach mocy, chociaż tak naprawdę nie mam o nich wiedzy.

Jestem więc ciekawy, jakie inne transformacje są powszechnie używane przez analityków?

Box-Cox transformacja obejmuje wiele z tych, które ty cytowanych. Zobacz tę odpowiedź, aby uzyskać szczegółowe informacje:

• Jak przekształcić dane nieujemne, w tym zera?

AKTUALIZACJA: Te slajdy zapewniają całkiem niezły przegląd transformacji Box-Cox.

Pierwszym krokiem powinno być pytanie, dlaczego twoi zmienne są dla rozkładu normalnego. To może być pouczające. Typowe ustalenia z mojego doświadczenia:

• Testy umiejętności (np. Egzaminy, testy inteligencji, testy wstępne) mają tendencję do negatywnego wypaczania, gdy występują efekty sufitowe, i pozytywnego wypaczania, gdy występują efekty podłogowe. Oba ustalenia sugerują, że poziom trudności testu nie jest zoptymalizowany dla próbki, ponieważ jest zbyt łatwy lub zbyt trudny do optymalnego zróżnicowania zdolności. Oznacza to również, że ukryta zmienna będąca przedmiotem zainteresowania mogłaby być normalnie rozłożona, ale struktura testu indukuje skośność mierzonej zmiennej.
• Testy umiejętności często mają wartości odstające pod względem słabych wyników. Krótko mówiąc, istnieje wiele sposobów, aby źle wykonać test. W szczególności można to czasem zaobserwować na egzaminach, w których jest niewielki odsetek studentów, gdzie połączenie braku umiejętności i wysiłku spowodowało bardzo niskie wyniki testów. Oznacza to, że ukryta zmienna zainteresowania prawdopodobnie ma kilka wartości odstających.
• W odniesieniu do testów samoopisowych (np. Testów osobowości, testów postawy itp.) Często pojawia się zniekształcenie, gdy próbka jest z natury wysoka na skali (np. Rozkłady zadowolenia z życia są zniekształcone, ponieważ większość ludzi jest zadowolona) lub gdy skala został zoptymalizowany dla próbki innej niż ta, do której stosuje się test (np. zastosowanie klinicznej miary depresji w próbce nieklinicznej).

Ten pierwszy krok może sugerować modyfikacje projektu w teście. Jeśli zdajesz sobie sprawę z tych problemów z wyprzedzeniem, możesz nawet zaprojektować test, aby ich uniknąć, jeśli uznasz je za problematyczne.

Drugim krokiem jest, aby zdecydować, co zrobić w sytuacji, gdy trzeba nienormalnych danych. Przekształcenie notatek jest tylko jedną z możliwych strategii. Chciałbym powtórzyć ogólną radę z poprzedniej odpowiedzi dotyczącej nienormalności :

• Wiele procedur zakładających normalność reszt jest odpornych na skromne naruszenia normalności reszt
• Bootstrapping jest ogólnie dobrą strategią
• Transformacje to kolejna dobra strategia. Zwróć uwagę, że z mojego doświadczenia wynika, że ​​rodzaje łagodnego wypaczenia, które często występują w testach psychologicznych zdolności i samoopisu, zwykle można dość łatwo przekształcić w rozkład zbliżający się do normalności za pomocą transformacji logarytmicznej, sqrt lub odwrotnej (lub odwrotnego odpowiednika).

John Tukey systematycznie omawia transformacje w swojej książce o EDA. Oprócz rodziny Box-Coxa (Affinely Scale Power Transformations) definiuje rodzinę „fałdowanych” transformacji dla proporcji (zasadniczo mocy x / (1-x)) i „rozpoczętych” zliczeń (dodając dodatnie przesunięcie do zliczonych danych przed ich przekształceniem). Złożone transformacje, które zasadniczo uogólniają logit, są szczególnie przydatne do wyników testów.

Zupełnie inaczej, Johnson & Kotz w swoich książkach o dystrybucjach oferują wiele transformacji mających na celu konwersję statystyk testowych do przybliżonej normalności (lub do innej dystrybucji docelowej), takich jak transformacja pierwiastka sześciennego dla chi-kwadrat. Ten materiał jest doskonałym źródłem pomysłów na przydatne transformacje, gdy spodziewamy się, że Twoje dane będą miały określoną dystrybucję.

Prostą opcją jest użycie sum wyników zamiast samych wyników. Suma rozkładów dąży do normalności. Na przykład w edukacji można dodać wyniki ucznia w serii testów.

Inną opcją jest oczywiście stosowanie technik, które nie zakładają normalności, które są niedoceniane i niedostatecznie wykorzystywane.

Do danych skośnych i gruboogonowych używam (i opracowałem) ramy dystrybucji Lambert W x F. Skośne i ciężkie rozkłady Lambert W x F oparte są na nieliniowej transformacji wejściowej zmiennej losowej (RV)$X \sim F$ do wyjścia $Y ~ Lambert W \times F$, która jest podobna do X, ale skośna i / lub gruboogoniasta (szczegółowe informacje znajdują się w dokumentach).

Działa to ogólnie dla każdego ciągłego RV, ale w praktyce interesuje nas głównie Gaussa $X \sim N(\mu, \sigma^2)$. W przypadku rozkładów W x F Lambera odwrotność jest odwrotna i może być oszacowana na podstawie danych przy użyciu ulubionego estymatora parametru$\theta = (\mu_x, \sigma_x, \delta, \alpha)$(MLE, metody momentów, analiza bayesowska, ...). Dla$\alpha \equiv 1$ a X jako Gaussa zmniejsza się do rozkładu h Tukeya.

Teraz, jako transformacja danych, staje się to interesujące, ponieważ transformacja jest bijective (prawie bijective w przypadku skośnego przypadku) i może być uzyskana jawnie za pomocą funkcji W Lamberta (stąd nazwa Lambert W x F). Oznacza to, że możemy usunąć skośność z danych, a także usunąć ciężkie ogony (biotycznie!).

Możesz to wypróbować za pomocą pakietu LambertW R, z instrukcją pokazującą wiele przykładów jego użycia.

Dla aplikacji zobacz te posty

• Jaki jest rozkład tych danych? : ma to pełną ilustrację tego, jak przekształcić dane do normalności w R za pomocą pakietu LambertW .
• Poszukuję rozkładu, w którym: Średnia = 0, wariancja jest zmienna, Skew = 0, a kurtoza jest zmienna
-