Przypadek dyskryminacji azjatyckiej Palantira: w jaki sposób obliczono prawdopodobieństwa?

Przeczytałem ten artykuł o sprawie Palantira, w której Departament Pracy oskarża ich o dyskryminację Azjatów. Czy ktoś wie, skąd wziął te oszacowania prawdopodobieństwa?

Nie dostaję 1/741 w pozycji (a).

(a) Na stanowisko Inżyniera ds. kontroli jakości, z grupy ponad 730 wykwalifikowanych kandydatów - z których około 77% to Azjaci - Palantir zatrudnił sześciu kandydatów spoza Azji i tylko jednego kandydata z Azji. Negatywny wpływ obliczony przez OFCCP przekracza trzy standardowe odchylenia. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około 1 na 741.

(b) Na stanowisku Inżyniera oprogramowania, z grupy ponad 1160 wykwalifikowanych kandydatów - z których około 85% pochodziło z Azji - Palantir zatrudnił 14 kandydatów spoza Azji i tylko 11 azjatyckich. Niekorzystny wpływ obliczony przez OFCCP przekracza pięć standardowych odchyleń. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około jeden na 3,4 miliona.

(c) W przypadku stanowiska inżyniera ds. kontroli jakości z grupy ponad 130 wykwalifikowanych kandydatów, z których około 73% to Azjaci, Palantir zatrudnił 17 kandydatów spoza Azji i tylko czterech azjatyckich. Niekorzystny wpływ obliczony przez OFCCP przekracza sześć standardowych odchyleń. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około jeden na miliard.

Zamierzam to przebudować na podstawie doświadczenia w sprawach dotyczących dyskryminacji. Zdecydowanie mogę ustalić, skąd wzięły się wartości „jeden na 741” itd . Jednak w tłumaczeniu zaginęło tak wiele informacji, że reszta mojej rekonstrukcji polega na tym, że widziałam, jak ludzie robią statystyki w salach rozpraw. Mogę tylko zgadywać na podstawie niektórych szczegółów.

---

$0.05$$0.01$

Eksperci statystyczni dla powodów często próbują sformułować swoje wyniki w tych znanych terminach. Niektórzy eksperci przeprowadzają test statystyczny, w którym hipoteza zerowa wyraża „brak negatywnego wpływu”, zakładając, że decyzje o zatrudnieniu były czysto losowe i nie podlegały żadnym innym cechom pracowników. (Niezależnie od tego, czy jest to jedno-, czy dwustronna alternatywa, może zależeć od eksperta i okoliczności.) Następnie przekształcają wartość p tego testu na szereg „odchyleń standardowych”, odnosząc ją do standardowego rozkładu normalnego - - nawet jeśli standardowa Normalna nie ma znaczenia dla pierwotnego testu. Na tym rondzie mają nadzieję, że jasno przekażą swoje wnioski sędziemu.

Preferowanym testem danych, które można podsumować w tabelach awaryjnych, jest Dokładny test Fishera. Występowanie „Dokładnego” w jego nazwie jest szczególnie przyjemne dla powodów, ponieważ wiąże się z ustaleniem statystycznym, które zostało dokonane bezbłędnie (cokolwiek to może być!).

Oto moja (spekulacyjna rekonstrukcja) obliczeń Departamentu Pracy.

1. $\chi^2$

2. Przekształcili jego wartość p na normalny wynik Z („liczba odchyleń standardowych”).

3. Są one zaokrąglone wynik Z do najbliższej liczby całkowitej „przekracza trzy odchylenia standardowe”, „przekracza pięć odchyleń standardowych” i „przekracza sześciu odchyleń standardowych”. (Ponieważ niektóre z tych wyników Z zaokrąglały w górę do bardziej standardowych odchyleń, nie mogę uzasadnić „przekroczeń”; wszystko, co mogę zrobić, to zacytować to.)

4. W skardze te całkowite wyniki Z zostały przeliczone z powrotem na wartości p! Ponownie zastosowano standardowy rozkład normalny.

5. Te wartości p są opisane (prawdopodobnie w sposób wprowadzający w błąd) jako „prawdopodobieństwo, że ten wynik wystąpił przypadkowo”.

$1/1280$$1/565000$$1/58000000$$730$$1160$$130$$730$$1160$$130$$-3.16$$-4.64$$-5.52$$1/741$$1/3500000$$1/1000000000$

---

Oto Rkod używany do wykonania tych obliczeń.

f <- function(total, percent.asian, hired.asian, hired.non.asian) {
  asian <- round(percent.asian/100 * total)
  non.asian <- total-asian
  x <- matrix(c(asian-hired.asian, non.asian-hired.non.asian, hired.asian, hired.non.asian),
              nrow = 2,
              dimnames=list(Race=c("Asian", "non-Asian"),
                            Status=c("Not hired", "Hired")))
  s <- fisher.test(x)
  s$p.value
}
1/pnorm(round(qnorm(f(730, 77, 1, 6))))
1/pnorm(round(qnorm(f(1160, 85, 11, 14))))
1/pnorm(round(qnorm(f(130, 73, 4, 17))))

Jak poprawnie obliczyć pvals przy użyciu rozkładu hipergeometrycznego:

$k$$n$$K$$N$ .

W przypadku testu jednostronnego w MATLAB możesz zadzwonić pval = hygecdf(k, N, K, n);lub w tym przypadkupval = hygecdf(1, 730, 562, 7) który wynosi około .0007839.

Średnia i odchylenie standardowe są podane przez:

$$\mu = n \frac{K}{N} \quad \quad \quad s = \sqrt{n \frac{K}{N} \frac{N - K}{N} \frac{N - n}{N-1}}$$

$\chi^2$

W poszukiwaniu formuł, których mógłby użyć OFCCP, ta strona, którą widziałem, może być pomocna: http://www.hr-software.net/EmploymentStatistics/DisparateImpact.htm

Podsumowanie niektórych obliczeń:

$$\begin{array}{rrrr} \text{Number and method} & \text{Part A} & \text{Part B} & \text{Part C} \\ \text{PVal from hypergeometric CDF} & \text{7.839e-04} & \text{1.77e-06} & \text{1.72e-08}\\ \chi^2 \text{ stat} & 15.68 & 33.68 & 37.16\\ \chi^2 \text{ pval} & \text{7.49e-05} & \text{6.47e-09} & \text{1.09e-09} \\ \text{Pval from above document} & .00135 & \text{2.94e-07} & \text{1.00e-09} \end{array}$$

$\chi^2$$\sum \frac{(\text{expected} - \text{actual})^2}{\text{expected}}$