Czy eksperci są szkodliwi?

Czytam „Rola szachów w badaniach nad sztuczną inteligencją” ( pdf ) i co ciekawe:

Doświadczenie [...] sugeruje, że wkładom ekspertów szachowych, choć ogólnie przydatnymi, nie można całkowicie ufać.

Dobrym przykładem tego jest funkcja oceny Głębokiej Myśli. Kilka zmian dokonanych przez zdolnych ludzi-szachistów nie przyniosło znaczących ulepszeń, a czasami nawet wpłynęło negatywnie na wydajność maszyny.

Tutaj ludzcy eksperci wraz ze swoją wiedzą specjalistyczną wprowadzili do programu własne uprzedzenia. Jednym ze sposobów rozwiązania tego problemu jest ograniczenie rodzaju i ilości danych eksperckich dozwolonych w programie; w innych posiadanie prawie „pozbawionej wiedzy” maszyny.

• Jak prawdziwe jest to we współczesnych badaniach i praktyce?
• Czy to duży problem, czy może coś konkretnego w szachach?

Myślę, że chodzi tu bardziej o rozwiązywanie problemów inżynieryjnych. Większość udanych projektów inżynierskich nie powiela dokładnie uzasadnienia eksperta ani jego charakteru. Rozwiązali problem w inny sposób.

Na przykład pralki używają innej techniki niż ludzie, samoloty używają innej dynamiki niż ptaki.

Jeśli kopiujesz uzasadnienie eksperta, ich wkład jest wszystkim . Ale jeśli rozwiązujesz ten sam problem za pomocą różnych technik (szybkie wyszukiwanie, ogromna pamięć ...), ich wkład jest tylko pomocny .

Takie problemy są powszechne w różnych obszarach wymagających osądu.

Rozdział „ Prognozowanie i korekty osądowe” w Makridakis, Wheelwright i Hyndman Forecasting: Metody i aplikacje mają podobne historie eksperckich osądów, które nie są skuteczne nawet czasami bardzo proste systemy.

Istnieje artykuł (Dawes i in. (1989) „Clinical vs. Actuarial Judgement” Science , tom 243, nr 4899, str. 1668-74) na temat błędów w ocenie eksperta w dziedzinie medycyny w porównaniu z tak zwanymi metodami „aktuarialnymi” - w zasadzie dość prostym modele statystyczne.

Z drugiej strony w literaturze aktuarialnej znajduje się artykuł na temat „hałaśliwości” i niespójności oceny eksperckiej w konkretnym problemie w tej dziedzinie, w której ocena eksperta jest często uznawana przez jej praktyków za nadrzędne.

Makridakis i wsp. Dyskutują o błędach oceny eksperckiej w wielu obszarach, ponieważ dotyczą one prognozowania i zawierają sporo cennych porad.

I tak dalej. Mnożą się uprzedzenia poznawcze, a eksperci ludzcy cierpią na nie wraz ze wszystkimi innymi.

Pytanie, czy eksperci są szkodliwi, z pewnością nie jest problemem ograniczonym do gry w szachy.

Ciekawe pytanie w literaturze dotyczące optymalnego projektu komitetów polityki pieniężnej (RPP) dotyczy tego, czy w komitetach powinni brać udział eksperci zewnętrzni, którzy nie są pełnoetatowymi pracownikami banku centralnego.

Aby spojrzeć na to z perspektywy, najpierw rozważ RPP Banku Anglii. Składa się z pięciu wewnętrznych członków wykonawczych banku i czterech zewnętrznych ekspertów. Z drugiej strony Bank Rezerw Federalnych zatrudnia komitet złożony wyłącznie z pracowników banku.

Zewnętrzni członkowie ekspertów są włączeni do RPP Banku Anglii, ponieważ uważa się, że wnoszą wiedzę specjalistyczną i dodatkowe informacje do zdobytych w Banku Anglii.

Który projekt MPC jest lepszy? Eksperci czy eksperci?

Ten obszar badań jest nadal aktywny i został niedawno zbadany przez Hansen i McMahon (2010) . Sugeruję zapoznanie się z odniesieniami wymienionymi w tym dokumencie w celu dalszego czytania w tej kwestii „komitetów ekspertów”.

Czy to duży (ważny) problem? Biorąc pod uwagę wpływ, jaki decyzja RPP może mieć na gospodarkę, powiedziałbym, że jest to dość ważny problem!

Na koniec muszę wspomnieć, że teoretycznie decyzje dotyczące polityki pieniężnej można przekazać komputerowi. Na przykład komputer może być zaprogramowany do wprowadzenia, powiedzmy, prostej reguły polityki pieniężnej ; na przykład jedno zobowiązanie. Pozwoliłoby to usunąć wkład ekspertów po zaprogramowaniu reguły polityki pieniężnej w komputerze. Wykorzystanie komputera w polityce pieniężnej jest wspomniane w Svensson (1999) .

Odniesienie : Stephen Eliot Hansen i Michael McMahon, 2010. „Co eksperci zewnętrzni wnoszą do komitetu? Dowody z Banku Anglii”, Economics Working Papers 1238, Department of Economics and Business, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. „Jak prowadzić politykę pieniężną w erze stabilności cen?”, Proceedings, Bank Rezerw Federalnych w Kansas City, strony 195–259.

Myślę, że kluczem jest konsekwencja. Ekspert ma nie tylko szczególną wiedzę, ale system, w którym ta wiedza działa. Mają osobowość, ogólną strategię, w ramach której ich taktyka opiera się i ewoluuje.

W pewnym sensie program komputerowy grający w szachy to potwór Frankensteina stworzony z połączenia różnych ciał (programistów, ekspertów itp.). Nic więc dziwnego, że porady jednego eksperta nie pasowałyby dobrze do istniejącego systemu.

Zgadzam się z innymi komentarzami, że eksperci mogą nie wiedzieć, jak robią to, co robią. W takim przypadku, będąc człowiekiem, ich świadomy umysł tworzy wiarygodną historię, dlaczego podjęli określoną decyzję. Ale nadal uważam, że porady ekspertów dla zespołu programistów zawsze są poza kontekstem (tj. Są niezgodne z kontekstem projektu i historii programu).

EDYCJA: Może być tutaj również błąd nastawienia zbrojenia. Nie mogę znaleźć żadnych dobrych linków, które mogłyby wyjaśnić stronniczość zbrojenia, ale w moim rozumieniu tego terminu jest to efekt, który uzyskujesz, gdy aktualizujesz (remontujesz) model nadzorowany, wykorzystując poprzednie wyniki modelu - zwykle pośrednio - jako cele. Jest podobny do stronniczości Potwierdzenia, ale wiąże się z pewnym poziomem pośrednictwa. Ludzcy eksperci mieliby swoje Wzmocnienia, które mogłyby mieć wpływ na różne rzeczy.