Unikanie dyskryminacji społecznej w budowaniu modeli

Mam pytania inspirowane niedawnym skandalem rekrutacyjnym w Amazon, w którym oskarżano ich o dyskryminację kobiet w procesie rekrutacji. Więcej informacji tutaj :

Specjaliści od uczenia maszynowego Amazon.com Inc odkryli duży problem: ich nowy silnik rekrutacyjny nie lubił kobiet.
Zespół buduje programy komputerowe od 2014 roku, aby przejrzeć CV kandydatów do pracy w celu zmechanizowania poszukiwania najlepszych talentów ...
... eksperymentalne narzędzie zatrudniania firmy wykorzystywało sztuczną inteligencję, aby dawać kandydatom od 1 do 5 gwiazdek ...
... Ale do 2015 r. Firma zdała sobie sprawę, że jej nowy system nie ocenia kandydatów na stanowiska programistów i inne stanowiska techniczne w sposób neutralny pod względem płci.
Wynika to z tego, że modele komputerowe Amazon zostały przeszkolone w zakresie sprawdzania kandydatów poprzez obserwowanie wzorców w życiorysach przesyłanych do firmy przez okres 10 lat. Większość pochodzi od mężczyzn, co odzwierciedla męską dominację w branży technologicznej. (Aby zobaczyć grafikę dotyczącą podziałów płci w technologii, patrz: tutaj ) W efekcie system Amazon nauczył się, że kandydaci na mężczyzn są lepsi. Karane były CV, które zawierały słowo „kobiet”, jak w „kapitanie klubu szachowego kobiet”. Zdaniem osób znających tę sprawę obniżyła ocenę absolwentów dwóch kolegiów wszystkich kobiet. Nie podali nazw szkół.
Amazon dokonał edycji programów, aby były neutralne w stosunku do tych konkretnych warunków. Ale nie było to gwarancją, że maszyny nie wymyślą innych sposobów sortowania kandydatów, które mogłyby okazać się dyskryminujące, twierdzą ludzie.
Firma z Seattle ostatecznie rozwiązała zespół na początku ubiegłego roku, ponieważ dyrektorzy stracili nadzieję na projekt ...
... eksperyment firmy ... oferuje studium przypadku dotyczące ograniczeń uczenia maszynowego.
... informatycy, tacy jak Nihar Shah, który uczy uczenia maszynowego na Uniwersytecie Carnegie Mellon, twierdzą, że wciąż jest wiele do zrobienia.
„Jak upewnić się, że algorytm jest sprawiedliwy, jak upewnić się, że algorytm jest naprawdę możliwy do interpretacji i wyjaśnienia - to wciąż dość daleko” - powiedział.

JĘZYK MASKULINII
[Amazon] założył zespół w centrum inżynieryjnym Amazon w Edynburgu, który urósł do kilkunastu osób. Ich celem było opracowanie sztucznej inteligencji, która mogłaby szybko indeksować sieć i wykrywać kandydatów wartych rekrutacji, powiedzieli ludzie znający sprawę.
Grupa stworzyła 500 modeli komputerów skoncentrowanych na konkretnych funkcjach i lokalizacjach. Nauczyli każdego rozpoznawać około 50 000 terminów, które pojawiły się w życiorysach poprzednich kandydatów. Algorytmy nauczyły się przywiązywać niewielką wagę do umiejętności, które były powszechne wśród aplikantów, takich jak umiejętność pisania różnych kodów komputerowych ...
Zamiast tego technologia faworyzowała kandydatów, którzy opisywali się, używając czasowników częściej spotykanych w życiorysach inżynierów, takich jak „stracono” i „schwytano”, powiedziała jedna osoba.

Powiedzmy, że chcę zbudować model statystyczny, aby przewidzieć wyniki na podstawie danych osobowych, na przykład ranking pięciu gwiazdek, aby pomóc w rekrutacji nowych osób. Powiedzmy, że chcę również uniknąć dyskryminacji ze względu na płeć, jako ograniczenia etycznego. Biorąc pod uwagę dwa ściśle równe profile oprócz płci, wyniki modelu powinny być takie same.

1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

2. Jak sprawdzić brak dyskryminacji ze względu na płeć?

3. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Ten artykuł stanowi doskonały przegląd tego, jak poruszać się po uprzedzeniach ze względu na płeć, szczególnie w modelach językowych: Mężczyzna ma programistę komputerowego, a Kobieta ma gospodynię domową? Debiasing Word Embeddings - Bolukbasi i in. glin. . Ładne streszczenie blogu można znaleźć tutaj:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Tutaj znajdziesz większe kompendium zasobów:

https://developers.google.com/machine-learning/fairness-overview/

W powyższych linkach znajdziesz mnóstwo technik łagodzących uprzedzenia związane z płcią. Ogólnie rzecz biorąc, dzielą się na trzy klasy:

1) Niepełne / nadmierne próbkowanie danych. Ma to na celu nadpróbkowanie wysokiej jakości życiorysów kobiet i życiorysów mężczyzn.

2) Odejmowanie „podprzestrzeni płci”. Jeśli Twój model jest tendencyjny z punktu widzenia płci, możesz to wykazać, wykorzystując osadzanie CV do bezpośredniego przewidywania płci. Po zbudowaniu takiego modelu pomocniczego (nawet po prostu próbkowaniu wspólnych terminów należących do jednej z płci, a następnie zastosowaniu PCA), możesz w efekcie odjąć ten wymiar od modelu, normalizując CV tak, aby było neutralne pod względem płci. Jest to główna technika zastosowana w pracy Bolukbasi.

3) Uczenie się przeciwników. W takim przypadku próbujesz wygenerować dodatkowe dane, próbując wygenerować więcej wersji wysokiej jakości życiorysów kobiet, które w przeciwnym razie byłyby nie do odróżnienia od prawdziwych życiorysów.

To nie jest odpowiedź na twoje pytanie, ale tylko kilka myśli, które są zbyt długie, aby zmieścić się w komentarzu.

Myślę, że jednym problemem, który musimy wziąć pod uwagę, myśląc o tych kwestiach, jest to, że każdy model dyskryminuje i zrobi to na podstawie dowolnego powiązania zawartego w danych. Jest to prawdopodobnie cały cel modelu predykcyjnego. Na przykład mężczyźni rzeczywiście częściej popełniają przestępstwa niż kobiety, więc prawie każdy model, który ma dostęp do tych informacji, wyciągnie takie wnioski.

Ale to nie znaczy, że powinniśmy skazać kogoś częściowo ze względu na płeć, nawet jeśli na ogół mężczyzna prawdopodobnie będzie popełnił przestępstwo (inne rzeczy są równe). Przy podejmowaniu takich decyzji powinniśmy raczej wymagać bezpośrednich dowodów przestępstwa, a nie informacji o zwykłym stowarzyszeniu. Jako kolejny przykład: czy ludzie, którzy częściej chorują, naprawdę zasługują na wyższe składki ubezpieczeniowe?

Jeśli chodzi o dyskryminację, twierdzę, że kwestia dotyczy bardziej etycznego zastosowania , a nie samych modeli niesprawiedliwych. Jeśli martwimy się o utrwalanie dyskryminacji lub innych nieuczciwych wyników podczas korzystania z modelu w danej sytuacji, być może nie powinniśmy używać modelu.

Pracowałem nad projektem mającym na celu opracowanie najlepszych praktyk zarządzania oprogramowaniem. W terenie obserwowałem około pięćdziesięciu zespołów oprogramowania. Nasza próbka wynosiła około 77, ale ostatecznie zobaczyliśmy około stu drużyn. Oprócz gromadzenia danych dotyczących takich rzeczy, jak certyfikaty, stopnie naukowe itp., Zebraliśmy również różnorodne dane psychologiczne i demograficzne.

Zespoły programistów mają w sobie bardzo znaczące efekty samoselekcji, które, choć nie mają nic wspólnego z płcią, są ściśle powiązane z płcią. Ponadto menedżerowie często się replikują. Ludzie zatrudniają ludzi, z którymi czują się komfortowo i są dla siebie najbardziej komfortowi. Istnieją również dowody na to, że ludzie są oceniani w sposób poznawczy. Wyobraź sobie, że jako kierownik bardzo cenię szybkie przybycie na początek pracy. Następnie ocenię to. Inny menedżer, któremu zależy tylko na tym, aby praca została wykonana, może ocenić coś zupełnie innego jako ważnego.

Zauważyłeś, że mężczyźni inaczej używają języka, ale prawdą jest również to, że ludzie o różnych osobowościach używają języka na różne sposoby. Mogą występować również różnice w używaniu języka etnicznego, patrz na przykład obecny kontrowersje na Harvardzie i przyjęć azjatyckich.

Zakładasz teraz, że firmy zajmujące się oprogramowaniem dyskryminują kobiety, ale w branży tworzenia oprogramowania istnieje jeszcze inna forma dyskryminacji ze względu na płeć, której nie uwzględniono. Kiedy kontrolujesz obiektywne rzeczy, takie jak certyfikaty, stopnie naukowe, staż pracy itd., Przeciętna kobieta zarabia o 40% więcej niż przeciętny mężczyzna. Istnieją trzy źródła dyskryminacji w zatrudnieniu na świecie.

Po pierwsze, menedżerowie lub właściciele nie chcą zatrudniać kogoś na podstawie jakiejś funkcji. Po drugie, współpracownicy nie chcą współpracować z ludźmi z tą funkcją. Po trzecie, klienci nie chcą osób, które mają jakąś funkcję. Wygląda na to, że dyskryminacja płacowa jest wywoływana przez klientów, ponieważ produkt pracy jest inny, a z perspektywy klientów także lepszy. Ta sama cecha powoduje, że higienistki stomatologiczne mężczyzn otrzymują niższe wynagrodzenie niż kobiety. Widać to również w tendencji do „urodzenia się tutaj” w światowych płacach piłkarskich.

Najlepszą kontrolą tego jest zrozumienie twoich danych i zaangażowanych sił społecznych. Każda firma, która korzysta z własnych danych, będzie miała tendencję do replikacji. To może być bardzo dobra rzecz, ale może również sprawić, że będą ślepi na siły w pracy. Druga kontrola polega na zrozumieniu funkcji celu. Zyski mogą być dobrą funkcją, ale może być złą funkcją. W doborze funkcji utraty obiektywu obowiązują wartości. Wreszcie pojawia się kwestia testowania danych pod kątem demograficznym w celu ustalenia, czy dochodzi do niefortunnej dyskryminacji.

Wreszcie, i jest to większy problem w takich rzeczach, jak sztuczna inteligencja, gdzie nie można uzyskać dobrych statystyk interpretacyjnych, będziesz chciał kontrolować paradoks Yule. Klasycznym przykładem historycznym jest odkrycie, że 44% mężczyzn przyjęto na UC Berkley, a tylko 35% kobiet przyjęto w 1973 roku. To była ogromna różnica i istotna statystycznie. Było to również mylące.

Było to oczywiście skandaliczne, dlatego uniwersytet postanowił sprawdzić, które z nich są głównymi przestępcami. Cóż, okazało się, że kiedy kontrolowałeś na kierunku major, było statystycznie istotne odchylenie na korzyść przyjmowania kobiet. Spośród osiemdziesięciu pięciu kierunków sześć było nastawionych na kobiety, a czterech na mężczyzn, pozostałe nie były znaczące. Różnica polegała na tym, że kobiety, nieproporcjonalnie, starały się o najbardziej konkurencyjne kierunki i tak niewielu z nich brało udział. Mężczyźni częściej ubiegali się o kierunki mniej konkurencyjne.

Dodanie paradoksu Yule tworzy jeszcze głębszą warstwę dyskryminacji. Wyobraź sobie, że zamiast testu płci przeprowadzono test płci według rodzaju pracy. Możesz zdać test neutralny pod względem płci w całej firmie, ale nie zdać egzaminu na poziomie zadania. Wyobraź sobie, że tylko kobiety były rekrutowane do V&V, a tylko mężczyźni do administrowania systemami. Wyglądałbyś neutralnie pod względem płci i nie byłbyś.

Jednym z potencjalnych rozwiązań tego problemu jest prowadzenie konkurencyjnych sztucznej inteligencji, które stosują różne obiektywne kryteria „dobroci”. Celem jest poszerzenie siatki, a nie jej zawężenie. Pomoże to również uniknąć kolejnego problemu w literaturze dotyczącej zarządzania. Podczas gdy 3% mężczyzn to socjopaci, liczba ta znacznie wzrasta wraz z postępem w hierarchii korporacyjnej. Nie chcesz filtrować pod kątem socjopatów.

Wreszcie, możesz nie chcieć rozważyć użycia AI dla niektórych rodzajów pozycji. Teraz szukam pracy. Jestem również pewien, że jestem odfiltrowywany i nie zastanawiałem się, jak to obejść. Siedzę na bardzo przełomowej nowej technologii. Problem polega na tym, że moja praca nie pasuje do magicznych słów. Zamiast tego mam następny zestaw magicznych słów. W tej chwili jestem wart fortunę dla właściwej firmy, ale w jednym przypadku, w którym złożyłem wniosek, otrzymałem automatyczny spadek w mniej niż minutę. Mam przyjaciela, który pełnił funkcję CIO agencji federalnych. Złożył podanie o pracę, w której kierownik ds. Rekrutacji czekał, aż nadejdzie jego zgłoszenie, aby mógł zostać mu zaproponowany. Nigdy nie doszło, ponieważ filtry go zablokowały.

To ustanawia drugi problem AI. Jeśli mogę poćwiczyć z życiorysami online, których zatrudnia Amazon, to mogę magicznie wyrazić moje życiorys. Rzeczywiście, pracuję teraz nad moim CV, aby dopasować je do filtrów innych niż ludzkie. Z e-maili od rekruterów mogę również stwierdzić, że niektóre części mojego CV są powiększane, a inne ignorowane. To tak, jakby proces rekrutacji i zatrudniania został przejęty przez oprogramowanie takie jak Prolog. Czy spełnione są ograniczenia logiczne? Tak! Jest to optymalny kandydat lub zestaw kandydatów. Czy są optymalne?

Nie ma gotowej odpowiedzi na twoje pytanie, tylko problemy do rozwiązania.

Aby zbudować tego rodzaju model, ważne jest, aby najpierw zrozumieć niektóre podstawowe statystyczne aspekty dyskryminacji i wyników procesu. Wymaga to zrozumienia procesów statystycznych, które oceniają obiekty na podstawie cech. W szczególności wymaga zrozumienia związku między zastosowaniem cechy do celów decyzyjnych (tj. Dyskryminacji) a oceną wyników procesu w odniesieniu do tej cechy. Zaczynamy od odnotowania:

• Dyskryminacja (w jej właściwym znaczeniu) występuje, gdy zmienna jest używana w procesie decyzyjnym, a nie tylko wtedy, gdy wynik jest skorelowany z tą zmienną. Formalnie dyskryminujemy zmienną, jeśli funkcja decyzyjna w procesie (tj. Ocena w tym przypadku) jest funkcją tej zmiennej.

• Rozbieżności w wynikach w odniesieniu do konkretnej zmiennej często występują, nawet jeśli nie ma dyskryminacji względem tej zmiennej . Dzieje się tak, gdy inne cechy funkcji decyzyjnej są skorelowane ze zmienną wykluczoną. W przypadkach, w których zmienna wykluczona jest zmienną demograficzną (np. Płeć, rasa, wiek itp.), Korelacja z innymi cechami jest wszechobecna, więc należy się spodziewać różnic w wynikach między grupami demograficznymi.

• Można spróbować zmniejszyć dysproporcje w wynikach w grupach demograficznych poprzez działanie afirmatywne, które jest formą dyskryminacji. Jeśli występują rozbieżności w wynikach procesu w odniesieniu do zmiennej, możliwe jest zmniejszenie tych różnic poprzez użycie zmiennej jako zmiennej decyzyjnej (tj. Poprzez dyskryminację tej zmiennej) w sposób faworyzujący grupy, które są „niedostatecznie reprezentowane” (tj. grupy o niższych proporcjach pozytywnych wyników w procesie decyzyjnym).

• Nie możesz tego zrobić na dwa sposoby - albo chcesz uniknąć dyskryminacji w odniesieniu do konkretnej cechy, albo chcesz wyrównać wyniki procesu w odniesieniu do tej cechy. Jeśli twoim celem jest „skorygowanie” rozbieżności w wynikach w odniesieniu do konkretnej cechy, nie oszukuj się z powodu tego, co robisz - angażujesz się w dyskryminację w celu akcji afirmatywnej .

Po zrozumieniu tych podstawowych aspektów statystycznych procesów decyzyjnych będziesz w stanie sformułować swój rzeczywisty cel w tym przypadku. W szczególności musisz zdecydować, czy chcesz mieć proces niedyskryminacyjny, który może skutkować różnicami wyników między grupami, czy też chcesz, aby proces dyskryminacyjny miał zapewnić równe wyniki procesu (lub coś podobnego). Etycznie kwestia ta naśladuje debatę na temat niedyskryminacji kontra działania afirmatywnego.

Powiedzmy, że chcę zbudować model statystyczny, aby przewidzieć wyniki na podstawie danych osobowych, na przykład ranking pięciu gwiazdek, aby pomóc w rekrutacji nowych osób. Powiedzmy, że chcę również uniknąć dyskryminacji ze względu na płeć, jako ograniczenia etycznego. Biorąc pod uwagę dwa ściśle równe profile oprócz płci, wyniki modelu powinny być takie same.

Łatwo jest upewnić się, że na oceny podane w modelu nie ma wpływu zmienna, którą chcesz wykluczyć (np. Płeć). Aby to zrobić, wystarczy usunąć tę zmienną jako predyktor w modelu, aby nie była używana w decyzji o ratingu. Zapewni to, że dwa profile, które są ściśle równe, oprócz tej zmiennej, będą traktowane tak samo. Jednak to nie koniecznie upewnić się, że model nie dyskryminuje na podstawie innej zmiennej, która jest skorelowana ze zmienną wyłączone i nie będzie na ogół prowadzi do rezultatów, które są równe między płciami. Wynika to z faktu, że płeć jest skorelowana z wieloma innymi cechami, które mogą być wykorzystane jako zmienne predykcyjne w twoim modelu, więc ogólnie spodziewalibyśmy się, że wyniki będą nierówne nawet przy braku dyskryminacji.

W związku z tym przydatne jest rozróżnienie między cechami, które są nieodłącznymi cechami płciowymi (np. Wkurzenie się), a cechami, które są jedynie skorelowane z płcią (np. Mają stopień inżyniera). Jeśli chcesz uniknąć dyskryminacji ze względu na płeć, zazwyczaj pociągałoby to za sobą usunięcie płci jako predyktora, a także usunięcie wszelkich innych cech, które uważasz za nieodłączną cechę płci. Na przykład, jeśli zdarza się, że kandydaci do pracy określają, czy sikają na stojąco czy w pozycji siedzącej, to jest to cecha, która nie jest ściśle równoważna płci, ale jedna opcja skutecznie określa płeć, więc prawdopodobnie usunąłbyś tę cechę jako predyktor w modelu.

1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

Prawidłowo co dokładnie? Kiedy mówisz „skoryguj ich efekt”, zakładam, że masz na myśli, że rozważasz „skorygowanie” dysproporcji w wynikach spowodowanych przez predyktory skorelowane z płcią. Jeśli tak jest, i wykorzystujesz płeć, aby skorygować nierówność wyników, wówczas skutecznie angażujesz się w akcję afirmatywną - tj. Programujesz swój model, aby pozytywnie dyskryminować płeć, z myślą o zbliżeniu wyników do siebie. . To, czy chcesz to zrobić, zależy od twojego etycznego celu w modelu (unikanie dyskryminacji vs. uzyskiwanie równych wyników).

2. Jak sprawdzić brak dyskryminacji ze względu na płeć?

Jeśli mówisz o rzeczywistej dyskryminacji, a nie o zwykłych różnicach w wynikach, łatwo to ograniczyć i sprawdzić. Wszystko, co musisz zrobić, to sformułować swój model w taki sposób, aby nie wykorzystywał płci (i nieodłącznych cech płciowych) jako predyktorów. Komputery nie mogą podejmować decyzji na podstawie cech, których nie wprowadzają do swojego modelu, więc jeśli masz nad tym kontrolę, powinno być dość łatwo sprawdzić brak dyskryminacji.

Sprawy stają się nieco trudniejsze, gdy używasz modeli uczenia maszynowego, które same próbują dowiedzieć się o odpowiednich cechach, bez Twojego udziału. Nawet w takim przypadku powinno być możliwe zaprogramowanie modelu tak, aby wykluczał predyktory, które chcesz usunąć (np. Płeć).

3. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Odnosząc się do danych „statystycznie dyskryminujących”, zakładam, że masz na myśli cechy, które są skorelowane z płcią. Jeśli nie chcesz tam tych innych cech, powinieneś po prostu usunąć je jako predyktory w modelu. Należy jednak pamiętać, że wiele ważnych cech będzie skorelowanych z płcią. Każda cecha binarna będzie skorelowana z płcią w każdym przypadku, gdy proporcja mężczyzn z tą cechą jest inna niż proporcja kobiet z tą cechą. (Oczywiście, jeśli proporcje te są bliskie, może się okazać, że różnica nie jest „statystycznie istotna”.) W przypadku bardziej ogólnych zmiennych warunek niezerowej korelacji jest również bardzo słaby. A zatem,

Będzie to co najwyżej odpowiedź częściowa (lub brak odpowiedzi).

Pierwszą rzeczą do odnotowania jest to, że całkowicie zgadzam się z @dsaxton: wszystkie modele „dyskryminują” (przynajmniej w niektórych definicjach dyskryminacji), ponieważ taka jest ich funkcja. Problem polega na tym, że modele działają na podsumowaniach i średnich i przypisują rzeczy na podstawie średnich. Pojedyncze osoby są wyjątkowe i mogą być całkowicie niezgodne z przewidywaniami.

Przykład: rozważ prosty model, który przewiduje wspomniany pięciogwiazdkowy ranking na podstawie jednej zmiennej - wieku . Dla wszystkich osób w tym samym wieku (powiedzmy 30) będzie to taka sama wydajność. Jest to jednak uogólnienie. Nie każda osoba w wieku 30 lat będzie taka sama. A jeśli model tworzy różne stopnie dla różnych grup wiekowych - to już dyskryminuje ludzi ze względu na ich wiek. Powiedzmy, że daje rangę 3 dla 50-latków i rangę 4 dla 40-latków. W rzeczywistości będzie wielu 50-letnich ludzi, którzy są lepsi w tym, co robią, niż 40-letni. I będą dyskryminowani.

1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

Jeśli chcesz, aby model zwrócił taki sam wynik dla mężczyzn i kobiet, którzy byliby równi, to nie powinieneś uwzględniać płci w modelu. Wszelkie dane związane z płcią powinny prawdopodobnie zostać uwzględnione. Wykluczając takie zmienne towarzyszące, możesz popełnić co najmniej 2 rodzaje błędów: 1) zakładając, że wszyscy mężczyźni i kobiety są równo podzieleni na wszystkie zmienne towarzyszące; 2) jeśli niektóre z tych zmiennych towarzyszących płci są zarówno istotne dla oceny, jak i jednocześnie związane z płcią - możesz znacznie zmniejszyć wydajność swojego modelu, wykluczając je.

2. Jak sprawdzić brak dyskryminacji ze względu na płeć?

Uruchom model dokładnie na tych samych danych dwa razy - raz za pomocą „male”, a innym razem za pomocą „female”. Jeśli pochodzi z dokumentu tekstowego, niektóre słowa można zastąpić.

3. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Zależy od tego, co chcesz zrobić. Jednym z brutalnych sposobów wymuszania równości płci jest osobne zastosowanie modelu dla kandydatów na mężczyzn i kobiet. A następnie wybierz 50% z jednej grupy i 50% z innej grupy.

Twoje prognozy najprawdopodobniej ucierpią - ponieważ jest mało prawdopodobne, że najlepszy zestaw kandydatów będzie obejmował dokładnie połowę mężczyzn i pół kobiet. Ale prawdopodobnie byłbyś w porządku etycznie? - znowu zależy to od etyki. Widziałem deklarację etyczną, w której tego rodzaju praktyki byłyby nielegalne, ponieważ dyskryminowałyby również ze względu na płeć, ale w inny sposób.

Historia Amazona pokazuje, że bardzo trudno jest uniknąć stronniczości. Wątpię, czy Amazon zatrudnił głupich ludzi do tego problemu, czy brakowało im umiejętności, czy nie mieli wystarczającej ilości danych, czy też nie mieli wystarczającej liczby punktów AWS, aby wyszkolić lepszy model. Problem polegał na tym, że skomplikowane algorytmy uczenia maszynowego są bardzo dobre w uczeniu się wzorców w danych, uprzedzenie płciowe jest właśnie tego rodzaju wzorcem. Dane zawierały stronniczość, ponieważ osoby rekrutujące (świadomie lub nie) faworyzowały kandydatów płci męskiej. Nie mówię tutaj, że Amazon jest firmą, która dyskryminuje kandydatów do pracy, jestem pewien, że mają tysiące polityk antydyskryminacyjnych, a także zatrudniają całkiem niezłych rekruterów. Problem z tego rodzaju uprzedzeniami i uprzedzeniami polega na tym, że nie ma znaczenia, jak bardzo starasz się z nim walczyć. Istnieje mnóstwo eksperymentów psychologicznych pokazujących, że ludzie mogą zadeklarować brak uprzedzeń (np. Rasistowskich), ale nadal podejmują tendencyjne działania, nawet nie zdając sobie z tego sprawy. Ale odpowiadając na twoje pytanie, aby mieć algorytm, który nie jest stronniczy, musisz zacząć od danych wolnych od tego rodzaju stronniczości. Algorytmy uczenia maszynowego uczą się rozpoznawać i powtarzać wzorce, które widzą w danych, więc jeśli dane rejestrują tendencyjne decyzje, algorytm prawdopodobnie nauczy się i zwiększy te odchylenie.

Drugą rzeczą jest zarządzanie danymi. Jeśli chcesz zabronić algorytmowi uczenia się podejmowania stronniczych decyzji, powinieneś usunąć wszystkie informacje, które pomogłyby w rozróżnieniu grup interesów (tutaj płeć). Nie oznacza to usunięcia tylko informacji o płci, ale także wszystkich informacji, które mogą prowadzić do identyfikacji płci, a może to być wiele rzeczy. Są oczywiste, takie jak nazwisko i zdjęcie, ale także pośrednie, np. Wznowienie urlopu macierzyńskiego, ale także edukacja (co jeśli ktoś poszedł do szkoły tylko dla dziewcząt?), A nawet historia pracy (powiedzmy, że osoby rekrutujące w Twojej firmie nie są stronnicze , ale co jeśli każdy inny rekrutujący wcześniej był stronniczy, więc historia pracy odzwierciedla wszystkie te stronnicze decyzje?) itp. Jak widać,

Jeśli chodzi o pytania 2. i 3., nie ma łatwych odpowiedzi i nie czuję się wystarczająco kompetentny, aby spróbować odpowiedzieć na nie szczegółowo. Istnieje mnóstwo literatury na temat uprzedzeń i stronniczości w społeczeństwie oraz na temat stronniczości algorytmicznej. Jest to zawsze skomplikowane i niestety nie ma na to prostych przepisów. Firmy, takie jak Google, zatrudniają ekspertów, których rolą jest identyfikowanie i zapobieganie tego rodzaju stronniczości w algorytmach.

1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

Istnieje kilka implikacji tego pytania, które sprowadzają się do następującego: Czy chcę zostać inżynierem społecznym; działacz, którego rolą jest zmiana status quo, ponieważ zdecydowałem, że społeczeństwo jest chore i wymaga terapii?Oczywista odpowiedź na to pytanie zależy od tego, czy taka zmiana jest korzystna czy szkodliwa. Na przykład odpowiedź na „Co zyskalibyśmy z równości płci dla personelu pielęgniarskiego?” może być tak, że posiadanie co najmniej jednej pielęgniarki płci męskiej do wprowadzania cewników moczowych u mężczyzn nie wymagałoby, aby aż 50% pielęgniarek było mężczyznami. Tak więc podejście inżynierii społecznej bada różne kultury, konteksty i problemy ze znanym uprzedzeniem ze względu na płeć i daje korzyści funkcjonalne, jakie można uzyskać ze zmian pierwotnej przyczyny (przyczyn) tego uprzedzenia. Jest to niezbędny krok w procesie decyzyjnym. Odpowiedź na pytanie 1. brzmi: nie, to znaczy, gdy ktoś zdecyduje, że społeczeństwo wymaga naprawy, dodaje po prostu gwiazdkę lub jej ułamek (patrz poniżej) kobietom-kandydatom, ale uważajcie na to, czego pragniecie, ponieważ jest to akcja afirmatywna, która sama w sobie jest z natury dyskryminująca. Wszelkie wyniki sztucznej inteligencji zmienią się, aby odzwierciedlić nowe normy zatrudniania, gdy zostaną one ustanowione jako nowa norma funkcjonalna.

2. Jak sprawdzić brak dyskryminacji ze względu na płeć?

To proste, po przypisaniu ocen, przeprowadzana jest analiza post hoc, aby zobaczyć rozkład ocen wśród mężczyzn i kobiet i porównać je.

3. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Jest to nieuniknione po fakcie, tj. Post hoc . Przemyślenie jest również konieczne, ale najbardziej potrzebnym rodzajem rozważania jest skoordynowana próba krytycznego zbadania założeń inżyniera społecznego. To znaczy, zakładając (dla celów dyskusji, patrz poniżej), że jest to socjologicznie uzasadnione, aby wyeliminować wszelkie uprzedzenia ze względu na płeć, wystarczy jedynie skorygować oceny kobiet, aby były zgodne z tym samym rozkładem empirycznym, co mężczyźni. W branży dydaktycznej byłoby to nazywane ocenianiem na krzywej. Ponadto, przypuśćmy, że całkowite wyeliminowanie uprzedzeń płciowych może nie być pożądane (może to być zbyt destrukcyjne), wówczas można częściowo wyeliminować uprzedzenia, np. Średnią ważoną parami każdej rodzimej kobiety ocena i jej w pełni skorygowana ocena, z dowolnymi wagami, które chce się przypisać, które są uważane (lub testowane jako najmniej szkodliwe i / lub najbardziej korzystne).

Nierówności płci nie można odpowiednio zmienić poprzez samodzielne zatrudnianie polityk, ponieważ w niektórych dziedzinach istnieje stosunkowo niewielki odsetek kobiet kandydujących. Na przykład w Polsce 14,3% studentów kierunków informatycznych stanowiły kobiety w 2018 r., Aw Australii 17% . Po zatrudnieniu zatrzymanie kobiet w branżach intensywnie korzystających z technologii było problematyczne (kobiety na stanowiskach biznesowych w branżach intensywnie korzystających z technologii odchodzą do innych branż w wysokim tempie - 53% kobiet w porównaniu z 31% mężczyzn). W związku z tym satysfakcja kobiet z pracy może być być ważniejsze niż sama polityka zatrudnienia. Najpierw należy zidentyfikować wymierną korzyść z posiadania określonego odsetka kobiet w miejscu pracy, a istnieją na to pewne wskazówki, na przykład w 2016 r., kobiety w zarządach przedsiębiorstw (16%) były prawie dwa razy bardziej prawdopodobne niż ich mężczyźni (9%), którzy mieli doświadczenie w zakresie technologii wśród 518 firm Forbes Global 2000. Tak więc oszczędność technologii wydaje się bardziej przyczyniać do wartości netto kobiet niż mężczyzn. Z tej dyskusji powinno być oczywiste, że przed przyjęciem założeń dotyczących płci należy podjąć znaczny wysiłek w celu zidentyfikowania bardziej konkretnych globalnych korzyści wynikających z określonych polityk, których polityka zatrudnienia jest tylko niewielką, choć ważną, częścią i prawdopodobnie nie najważniejszą punkt początkowy. To ostatnie jest prawdopodobnie zatrzymaniem pracowników, ponieważ obrót jest niekorzystny dla moralności i może być podstawową przyczyną stronniczości przy zatrudnianiu.

Moje doświadczenie w zarządzaniu nauczyło mnie, że nawet niewielkie zmiany wydajności pracy (np. 10-20%) są dość skuteczne w ostatecznym wyeliminowaniu list oczekujących, to znaczy, że nie ma potrzeby natychmiastowego zwiększania wydajności o 100% poprzez podwojenie liczby pracowników w wyniku skróci to listę oczekujących tylko nieznacznie szybciej niż będzie to miało miejsce w przypadku mniejszej zmiany, ale wtedy będzie zakłócające, ponieważ personel będzie stał w pobliżu, mając nadzieję, że praca wejdzie do drzwi. Oznacza to, że jeśli ktoś zdecyduje się na socjotechnikę, próba pełnej korekty może być szkodliwa; to nie działa w ten sposób. Spróbuj tego z nagłą korektą kursu na żaglówce, a możesz skończyć ćwicząc naukę pływania. Odpowiednikiem leczenia uprzedzeń ze względu na płeć (jeśli recepta jest odpowiednia) byłoby zatrudnienie tylko kobiet. To rozwiązałoby problem (i stworzyło inne). Więc,

Podsumowując, skuteczna inżynieria społeczna wymaga holistycznego podejścia do skomplikowanych sytuacji, a samo stwierdzenie, że może istnieć problem, nie mówi nam, że taki jest, nie mówi nam, co go powoduje, nie mówi nam, jak to naprawić, a nawet wszystko mówi nam, że musimy założyć czapki myślenia.