Randomizacja w próbie nieprzypadkowej może nadal wykazywać efekt, którego nie można rozsądnie wyjaśnić zmiennością losową.
Na przykład wyobraźmy sobie, że mamy populację z dwiema nierozpoznanymi podgrupami (o nieco odmiennych cechach *) o mniej więcej równej wielkości, ale twoja próbka nie jest losowa, co daje podział 80/20. Wyobraźmy sobie 2 grupy leczenia o równej wielkości. Randomizacja (przynajmniej z przyzwoitymi wielkościami próbek) będzie miała tendencję do dawania blisko tego podziału 80/20 w każdej grupie, tak że efekty leczenia wynikają z leczenia, a nie z nierównego przydzielania grup heterogenicznych do leczenia.
* prowadząc do różnych środków podstawowych, powiedzmy
Problem pojawia się, gdy chcesz rozszerzyć wnioskowanie na pewną populację docelową inną niż reprezentatywna dla twojej próbki (autoselekty); wymaga to założeń / argumentu, na który możesz nie mieć dowodów (takich jak założenie, że różnice w traktowaniu będą spójne dla wszystkich podgrup populacji).
W podobnej sytuacji wyobraź sobie testowanie leku na nadciśnienie tylko u mężczyzn, w porównaniu do standardowego leczenia i placebo. Załóżmy, że mężczyźni są odpowiednio losowo przydzieleni do grupy terapeutycznej. Efekt leczenia będzie realny w tym sensie, że naprawdę opisuje efekt u mężczyzn. Trudność pojawi się przy próbie rozszerzenia tego wniosku na kobiety .
Więc jeśli zostaną właściwie przeprowadzone i randomizowane oprócz rekrutacji, zaobserwowany znaczący efekt będzie tym, czym się wydaje, ale będzie miał zastosowanie do tego, co faktycznie pobrałeś, niekoniecznie jaki był twój pożądany cel - przekroczenie luki między nimi może wymagają starannej argumentacji; taki argument jest często nieobecny.
Kiedy byłem studentem, dość często eksperymenty z psychologią były przeprowadzane na studentach psychologii, których oczekiwano na ochotnika na określoną liczbę godzin takich eksperymentów (może się tak zdarzyć, ale nie mam regularnego kontaktu z psychologami którzy już eksperymentują). W przypadku randomizacji do leczenia wnioski mogły być prawidłowe (w zależności od tego, co zostało zrobione), ale dotyczyłyby miejscowej populacji wybranych przez siebie psychologów (ponieważ zazwyczaj wybierają eksperymenty, na które należy się zapisać), którzy są bardzo daleko od losowa próba z szerszej populacji.