Jak radzisz sobie z oczekiwaniami w pracy?

Biorąc pod uwagę całą naukę związaną z badaniami danych, uczeniem maszynowym i wszystkimi historiami sukcesu, istnieje wiele uzasadnionych, a także zawyżonych oczekiwań ze strony naukowców danych i ich modeli predykcyjnych.

Moje pytanie do praktykujących statystyk, ekspertów ds. Uczenia maszynowego i naukowców danych brzmi - w jaki sposób radzisz sobie z oczekiwaniami przedsiębiorców w Twojej firmie, szczególnie w odniesieniu do dokładności prognozowania modeli? Mówiąc wprost, jeśli twój najlepszy model może osiągnąć jedynie 90% dokładności, a kierownictwo oczekuje nie mniej niż 99%, jak sobie radzisz w takich sytuacjach?

Racjonalni ludzie biznesu nie płacą za dokładność, płacą albo

• zaoszczędzić pieniądze na zyskownym procesie (dzięki czemu jest bardziej opłacalny) lub przez
• tworzenie nowych pieniędzy (tworzenie nowych zyskownych procesów).

Dlatego każdy podejmowany projekt musi być realizowany w sposób odzwierciedlający to. Pierwszym krokiem jest zawsze zrozumienie, nad którym z dwóch procesów pracujesz, i powinieneś mieć jasny obraz tego, jak można to osiągnąć, pamiętając, że w miarę postępów szczegóły tego, jak to robisz, mogą się zmienić.

Jeśli możesz poprawić dokładność procesu, prawdopodobnie możesz zarobić pieniądze dla firmy, a ludzie biznesu zainwestują w twoje postępy. Jedynym racjonalnym powodem, dla którego przedsiębiorca mógłby nalegać na 99-procentową dokładność i odrzucić 90 procent, jest to, że już miał sposób na zrobienie tego lepiej niż 90 procent. W takim przypadku są oczywiście uzasadnieni w swoim stanowisku.

Zrozumienie i przedstawienie uzasadnienia biznesowego projektów, nad którymi pracujesz w sposób zrozumiały dla Ludzi Biznesu, jest częścią procesu dojrzewania każdego Inżyniera. W ogóle nie jest to unikatowe dla Data Science, chociaż Data Science ma pewne unikalne aspekty (takie jak niższa dojrzałość, ale wyższe prawdopodobieństwo przypadkowego odkrycia przypadkowych trafień - przynajmniej w dzisiejszym środowisku.

Odpowiedni proces zbliżony do Data Science, który sprawia, że ​​ten krok jest wyraźny, można znaleźć tutaj: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

Ale większość struktur architektury korporacyjnej ma podobne zastosowanie.

Zbierz konkurencyjnych odpowiedników. Spróbuj ustalić najnowocześniejszy stan techniki i przekonaj się, jak wypada porównanie modeli. Zależy to również w dużej mierze od tego, jak długo twój zespół nad tym pracował. Modele oparte na nauce nie są tworzone statycznie, rozwijają się dynamicznie, ponieważ dobry naukowiec zawsze będzie próbował znaleźć sposoby na jego ulepszenie.

Górne kadry kierowniczej powinni wiedzieć, że dane naukowiec bada nowe metody, czasami / często nie znając ich jakość. Powinni wiedzieć, że techniki uczenia maszynowego nie dają natychmiast doskonałych modeli. Gdyby tak było, to i tak nie byłoby trudne.

Naukowca zajmującego się danymi należy ocenić na podstawie tego, jak uzasadnia i omawia swoje wyniki oraz jak planuje przyszłość. Sposobem personelu zarządzającego na sprostanie ich oczekiwaniom jest nierealistycznie wysokie.

Jeśli jednak spodziewane są rozsądne wyniki w dziedzinie kontekstu, zastanów się nad następującymi pytaniami:

1. Czy z czasem wyniki będą lepsze?
2. Czy przyszłe oczekiwania są pozytywne?
3. Jak dobrze wypadają wyniki w porównaniu do podobnych systemów (od konkurencji)?

Podoba mi się to pytanie, ponieważ dotyczy polityki obowiązującej w każdej organizacji. Moim zdaniem iw znacznym stopniu oczekiwania dotyczące wydajności modelu są funkcją kultury organizacyjnej i stopnia, w jakim organizacja jest „technicznie piśmienna”. Jednym ze sposobów wyjaśnienia, co mam na myśli, jest rozważenie różnic między 4 dużymi podmiotami „data science” - Google, FB, Amazon i Yahoo - w porównaniu z 4 dużymi podmiotami będącymi holdingami - WPP, Omnicon, Interbrand i Publicis. Google i inni są bardzo kompetentni technicznie. Z drugiej strony agencje są znane z tego, że skłaniają się ku fobii technologicznej. Jakie są na to dowody? Po pierwsze, technicznie biegła grupa została założona lub jest prowadzona przez inżynierów, informatyków, maniaków i ludzi o silnym zapleczu technologicznym. Kto prowadzi firmy niepiśmienne technologicznie? Marketerzy, którzy zyskali na znaczeniu dzięki miękkiej komunikacji i umiejętnościom ludzi. I nie tylko to, ponieważ pracowałem w niektórych z tych sklepów w Nowym Jorku, mogę zaświadczyć, że organizacje te systematycznie karają i / lub wypychają wysoce technicznie wykształcone typy, ponieważ nie pasują do kultury. Następnie weźmy pod uwagę ich łączne (rynkowe) pułapy rynkowe, grupa piśmiennictwa technicznego stanowi około 800 miliardów dolarów, podczas gdy grupa analfabetów technicznych wynosi 80 miliardów. Podmioty posiadające umiejętności techniczne są 10 razy większe niż inne w kapitalizacji rynkowej. Jest to wyraźne określenie oczekiwań rynku i nie jest wysokie dla analfabetów. Więc, poprzez ekstrapolację, jaką masz nadzieję na podważenie oczekiwań „bozo” takich jak te? pracując w niektórych z tych sklepów w Nowym Jorku, mogę zaświadczyć, że organizacje te systematycznie karają i / lub wypychają wysoce technicznie wykształcone typy, ponieważ nie pasują do kultury. Następnie weźmy pod uwagę ich łączne (rynkowe) pułapy rynkowe, grupa piśmiennictwa technicznego stanowi około 800 miliardów dolarów, podczas gdy grupa analfabetów technicznych wynosi 80 miliardów. Podmioty posiadające umiejętności techniczne są 10 razy większe niż inne w kapitalizacji rynkowej. Jest to wyraźne określenie oczekiwań rynku i nie jest wysokie dla analfabetów. Więc, poprzez ekstrapolację, jaką masz nadzieję na podważenie oczekiwań „bozo” takich jak te? pracując w niektórych z tych sklepów w Nowym Jorku, mogę zaświadczyć, że organizacje te systematycznie karają i / lub wypychają wysoce technicznie wykształcone typy, ponieważ nie pasują do kultury. Następnie weźmy pod uwagę ich łączne (rynkowe) pułapy rynkowe, grupa piśmiennictwa technicznego stanowi około 800 miliardów dolarów, podczas gdy grupa analfabetów technicznych wynosi 80 miliardów. Podmioty posiadające umiejętności techniczne są 10 razy większe niż inne w kapitalizacji rynkowej. Jest to wyraźne określenie oczekiwań rynku i nie jest wysokie dla analfabetów. Więc, poprzez ekstrapolację, jaką masz nadzieję na podważenie oczekiwań „bozo” takich jak te? biorąc pod uwagę ich łączne (rynkowe) ograniczenia rynkowe, grupa piśmiennictwa technicznego stanowi około 800 miliardów dolarów, podczas gdy grupa analfabetów technicznych wynosi 80 miliardów. Podmioty posiadające umiejętności techniczne są 10 razy większe niż inne w kapitalizacji rynkowej. Jest to wyraźne określenie oczekiwań rynku i nie jest wysokie dla analfabetów. Więc, poprzez ekstrapolację, jaką masz nadzieję na podważenie oczekiwań „bozo” takich jak te? biorąc pod uwagę ich łączne (rynkowe) ograniczenia rynkowe, grupa piśmiennictwa technicznego stanowi około 800 miliardów dolarów, podczas gdy grupa analfabetów technicznych wynosi 80 miliardów. Podmioty posiadające umiejętności techniczne są 10 razy większe niż inne w kapitalizacji rynkowej. Jest to wyraźne określenie oczekiwań rynku i nie jest wysokie dla analfabetów. Więc, poprzez ekstrapolację, jaką masz nadzieję na podważenie oczekiwań „bozo” takich jak te?

Biorąc pod uwagę ten przełom kulturowy i zależnie od tego, gdzie upadniesz, powinieneś mieć mniej lub bardziej realistyczne oczekiwania. Oczywiście różne podmioty „niepiśmienne technologicznie” będą miały menedżerów, którzy wiedzą, co robią, ale w przeważającej części podmioty te są zdominowane przez idiotyzm o najniższym wspólnym mianowniku w umiejętnościach technicznych, tj. Ludzi, którzy są w najlepszym razie techniczni półpiśmienne (i niebezpieczne) lub, częściej, całkowicie niezliczone, ale nie wiem o tym. W tym przypadku pracowałem dla faceta, który chciał, aby słowa takie jak „korelacja” wyszorowały z talii c-suite. Jest to skrajny przypadek: w końcu każda sekretarka wie, czym jest „korelacja”.

Rodzi to pytanie, jak radzić sobie z szaleńczo naiwną i niezliczoną liczbą, gdy zadają naprawdę głupie pytanie, takie jak: „Dlaczego nie osiągasz 99% trafności predykcyjnej?”. Jedną dobrą odpowiedzią jest odpowiedź na pytanie typu „Dlaczego miałbyś zakładać, że tak nierealistycznie wysokie PA jest w ogóle możliwe?” Innym może być: „Ponieważ gdybym rzeczywiście otrzymał 99% PA, założyłbym, że robię coś złego”. Co jest wysoce prawdopodobne, nawet przy 90% PA.

Istnieje bardziej fundamentalne pytanie o nacisk na PA jako jedyne kryterium wartości modelu. Nieżyjący już Leo Breiman pozostawił wiele śladów na statystycznej i predykcyjnej społeczności modelowania, której PA jest jednym z nich. Jego głównym zmartwieniem wobec PA było zajęcie się wieloma krytykami podjętymi w latach 90. dotyczących niestabilności i błędów związanych z prowadzeniem jednego drzewa CART. Jego rozwiązaniem było zmotywowanie „losowych lasów” jako przybliżonej i tymczasowej metody, która maksymalizuje dokładność i zmniejsza niestabilność poprzez eliminację struktury drzew. Porównał niższą MSE z ~ 1000 iteracyjnych „mini-modeli” RF z błędem z jednego modelu regresji logistycznej. Jedynym problemem było to, że nigdy nie zadał sobie trudu, by wspomnieć o rażącym porównaniu jabłek do porównania pomarańczy:

Nagroda Netflix 2008 zaoferowała znaczną nagrodę pieniężną każdemu statystykowi lub zespołowi, który może poprawić MSE swojego systemu rekomendacji. W tym czasie Netflix wydawał na ten system 150 milionów dolarów rocznie, przekonany, że koszty zostały więcej niż odzyskane dzięki lojalności klientów i zakupom filmów, które w innym przypadku nigdy nie zostałyby wybrane. Ostateczni zwycięzcy zastosowali złożony zespół 107 różnych modeli.

Jednak, jak dowiedział się Netflix, prawdziwym problemem było to, że z perspektywy pełnego obciążenia rzeczywista poprawa błędu w stosunku do ich obecnego modelu stanowi zaledwie 0,005% obniżenie 5-punktowych ocen. Nie wspominając o tym, że koszty IT w czasie, podnoszenie ciężarów i utrzymanie zwycięskiego zespołu 107 modeli z nadwyżką zniweczyły wszelkie korzyści wynikające z redukcji błędów. Biorąc to pod uwagę, Netflix ostatecznie porzucił pogoń za MSE i nie przyznano już żadnych nagród Netflix

I o to chodzi: zminimalizowanie błędu predykcyjnego można łatwo rozegrać w grę lub zhakować go i jest on podatny na oszustwa analityków (tj. Znalezienie rozwiązania, które gloryfikuje umiejętności modelowania analityka, pozytywnie wpływając na jego potencjalną premię na koniec roku). Co więcej, jest to całkowicie statystyczne rozwiązanie i cel postawiony w próżni gospodarczej i biznesowej. Metryka nie uwzględnia lub nie uwzględnia dodatkowych kosztów dodatkowych - bardzo realnych konsekwencji operacyjnych ocenianych od A do Z, które powinny stanowić integralną część każdego w pełni obciążonego, opartego na kompromisie procesu decyzyjnego.

Stało się to jednym z problemów związanych z organizacjami i bardzo, bardzo trudno jest je zmienić. Innymi słowy, jestem w pełni świadomy, że przechylam się do wiatraków z tym przepisem na temat zastrzeżeń przy użyciu PA.