Czy są jakieś formalne badania dotyczące skuteczności pytania FizzBuzz? [Zamknięte]

Po dzisiejszym pytaniu na temat odmiany pytania do wywiadu FizzBuzz, a także na innych związanych z nim pytaniach, muszę zapytać: czy są jakieś formalne badania nad tym, jak skuteczne jest to jako technika wywiadu? Jest wielu ludzi, którzy twierdzą, że odfiltrowuje szalenie brzmiący odsetek kandydatów (95% + w niektórych przypadkach), ale jak dobry jest znalezienie dobrych programistów / programistów?

Przeprowadzono pewne badania, które pokazują, że umiejętności miękkie mogą być lepszymi wskaźnikami niż umiejętności twarde przy wyborze dobrego kandydata na stanowisko. Ponadto mogą istnieć pośrednie powody, dla których tylu kandydatów nie zdaje tego testu (zdenerwowanie, myślenie „to podstęp” itp.).

Na podstawie dotychczasowych komentarzy wygląda na to, że idea pytań FizzBuzz polega na ustaleniu, czy dana osoba ma dobre (wystarczające) umiejętności kodowania, aby móc je dalej rozważyć. Nie jestem do końca przekonany, że FizzBuzz tak właśnie robi. Pamiętaj też, że FizzBuzz filtruje bardzo duży odsetek kandydatów na bardzo wczesnym etapie procesu rekrutacji, co może oznaczać, że znaczna liczba dobrych kandydatów jest usuwana na wczesnym etapie, ponieważ nie potrafią wystarczająco szybko rozwiązać głupich problemów.

Zwrócę też uwagę, że patrząc na skuteczność FizzBuzz, można to zrobić całkowicie ilościowo. W przeciwieństwie do patrzenia na „dopasowanie” lub „pasję”, które są bardzo zmienne i wysoce nienaukowe (ale nadal bardzo ważne dla nowych decyzji o zatrudnieniu).

Minęło dużo czasu, odkąd czytałem o badaniach rozmowy kwalifikacyjnej (więc nie mogę umiejscowić szczegółów, za co przepraszam), ale ogólna zasada mówi, że ludzie zatrudniają na podstawie umiejętności miękkich, ale nie ma między nimi korelacji wydajność. Testowanie konkretnych umiejętności może działać, ponieważ osobowość nie działa (zgodnie z mierzalnymi danymi).

Prawie wszyscy uważają, że ich specjalne techniki rozmowy kwalifikacyjnej działają, dane wskazują, że prawdopodobnie nie powinieneś zawracać sobie głowy rozmową kwalifikacyjną (część rozmowy „powiedz mi o sobie”, w przeciwieństwie do obiektywnych testów), ponieważ kandydaci wybrani przez ankieterów nie są lepsi, ale ankieterzy pokazują, że uprzedzenia do ekstrawertyków, ludzi demograficznie podobnych do ankietera, wysokich ludzi, atrakcyjnych ludzi itp. (Prawdopodobnie powinieneś zatrudnić ludzi, którzy dobrze sobie radzą w testach i źle w pozostałej części rozmowy, ponieważ najwyraźniej są równie dobrzy w pracy, ale może być trudniej opuścić firmę).

W pewnym sensie spodziewam się, że zostanę za to oskarżony, zwykle każdy, komu to powiem, mówi „ale używamy metody X i to naprawdę działa dla nas”, ale chyba

1. zatrudnić osoby, które nie przejdą procesu rozmowy kwalifikacyjnej,

2. nie mów swoim współpracownikom, którzy przeszli, a którzy nie, oraz

3. porównaj wyniki tych, którzy zdali, z tymi, którzy tego nie zrobili, używając wcześniej uzgodnionych obiektywnych kryteriów

naprawdę nie masz pojęcia, czy Twój proces działa. Niestety skuteczność wywiadu jest z natury trudna do oceny.

Jeśli zastanawiasz się, eksperymenty polegają na poproszeniu ludzi o ocenę kandydatów na podstawie transkrypcji wywiadu od kandydatów, którzy zostali już zatrudnieni (wśród wielu innych technik). Idealnie byłoby, gdyby eksperymentatorzy przeprowadzali wywiady, wybierali kandydatów, kasowali pamięć ankietera, losowo wybierali, kogo zatrudnić spośród kandydatów i porównywali wyniki kandydatów przy użyciu dokładnych, obiektywnych kryteriów w porównaniu z ocenami podanymi przez ankieterów, ale ten eksperyment jest trudne do zerwania.

Tak więc, chociaż nie widziałem szczegółowych badań FizzBuzz, jest to coś , co może wykazać skuteczność w testach naukowych. Jeśli wyświetli 95% kandydatów, będę ciekawy, dlaczego - został wymyślony tak absurdalnie łatwo, że tylko niekompetentny programista nie mógł go przejść, a ciężko jest zrozumieć, jak ogłuszyć FizzBuzz. Zastanawiam się, jaki procent pomyślnie przeszedł test „Hello world”? Test „zmusić komputer do zrobienia czegoś, czegoś”?

Celem fizzbuzz nie jest znalezienie dobrych programistów, lecz znalezienie pewnej klasy złych programistów, czyli ludzi, którzy nie potrafią zaimplementować prostego algorytmu. Twoje pytanie przypomina pytanie, ilu mistrzów Nascar zostało zidentyfikowanych podczas egzaminów na prawo jazdy. Między kimś, kogo zdecydowanie nie chcesz zatrudnić, a kimś, kogo na pewno masz, jest dużo miejsca.

Istnieją inne klasy „złych” programistów, które wymagają różnych metod identyfikacji, na przykład ci, którzy nie są biegli w danym języku lub mają problemy z zachowaniem. Jednak programiści „fizzbuzz-bad” są prawie ogólnie niepożądani, dlatego test jest tak często zalecany. To, czy programista, który jest nadmiernie terytorialny, czy ten, który musi przenieść umiejętności na nowy język, jest „dobry” czy „zły”, zależy znacznie bardziej od potrzeb i preferencji indywidualnego pracodawcy.

FizzBuzz nie polega na identyfikacji dobrych programistów, lecz na eliminowaniu złych / fałszywych. Jeśli kandydat nie zda testu FizzBuzz, nie wie, jak programować i nie powinien ubiegać się o stanowisko programistyczne.