Różnica między testem randomizacji a testem permutacji

W literaturze terminy randomizacja i permutacja są używane zamiennie. Z wieloma autorami stwierdzającymi: „Testy permutacyjne (aka losowe)” lub odwrotnie.

W najlepszym razie uważam, że różnica jest subtelna i polega na ich założeniach dotyczących danych i potencjalnych wnioskach, które można wyciągnąć. Muszę tylko sprawdzić, czy moje rozumowanie jest prawidłowe, czy też jest głębsza różnica, której mi brakuje.

Testy permutacyjne zakładają, że dane są próbkowane losowo z leżącego u ich podstaw rozkładu populacji (model populacji). Oznacza to, że wnioski wyciągnięte z testu permutacyjnego mają ogólne zastosowanie do innych danych z populacji [3].

Testy randomizacji (model randomizacji) „pozwalają nam odrzucić nieprawdopodobne założenie typowych badań psychologicznych --- losowe pobieranie próbek z określonego rozkładu” [2]. Oznacza to jednak, że wyciągnięte wnioski mają zastosowanie tylko do próbek użytych w badaniu [3].

Z pewnością jednak różnica dotyczy wyłącznie definicji populacji . Jeśli zdefiniujemy populację jako „wszystkich pacjentów z dolegliwością i nadających się do leczenia”, test permutacji jest ważny dla tej populacji. Ale ponieważ ograniczyliśmy populację do tych, które są odpowiednie do leczenia, jest to tak naprawdę test losowy.

Odniesienia:
[1] Philip Good, Permutation Tests: Praktyczny przewodnik po metodach ponownego próbkowania do testowania hipotez.
[2] Eugene Edgington i Patric Onghena, testy randomizacji.
[3] Michael Ernst, Metody permutacji: podstawa do dokładnego wnioskowania

Nakładanie się jest dość duże, a najczęstszą formą testu permutacji jest forma testu randomizacji.

Niektórzy puryści uważają, że prawdziwy test permutacji opiera się na każdej możliwej permutacji danych. Ale w praktyce próbkujemy z zestawu wszystkich możliwych permutacji, a więc jest to test losowy.

Istnieją również testy ładowania początkowego, jeśli nie znajdziemy każdej możliwej próbki ładowania początkowego, a raczej próbki z możliwego zestawu (co zwykle jest wykonywane), jest to również test losowy (ale nie test permutacyjny).