Taleb i Czarny Łabędź

Książka Taleba „Czarny łabędź” była bestsellerem New York Timesa, kiedy ukazała się kilka lat temu. Książka jest teraz w drugim wydaniu. Po spotkaniu ze statystykami na JSM (corocznej konferencji statystycznej), Taleb nieco złagodził swoją krytykę statystyki. Ale głównym założeniem książki jest to, że statystyki nie są zbyt przydatne, ponieważ opierają się na normalnym rozkładzie i bardzo rzadkich zdarzeniach: „Czarne łabędzie” nie mają normalnych rozkładów.

Czy uważasz, że to uzasadniona krytyka? Czy Talebowi brakuje niektórych ważnych aspektów modelowania statystycznego? Czy rzadkie zdarzenia można przewidzieć przynajmniej w tym sensie, że można oszacować prawdopodobieństwo wystąpienia?

Kilka lat temu czytałem Czarnego Łabędzia. Pomysł Czarnego Łabędzia jest dobry, a atak na ludyczny błąd (widzenie rzeczy w gry w kości z prawdopodobieństwem poznania) jest dobry, ale statystyki są oburzająco fałszywie przedstawiane, a głównym problemem jest błędne twierdzenie, że wszystkie statystyki rozpadają się, jeśli zmienne nie są zwykle dystrybuowane. Byłem wystarczająco zirytowany tym aspektem, aby napisać Talebowi poniższy list:

Drogi Dr Talebie

Niedawno przeczytałem „Czarny łabędź”. Podobnie jak ty jestem fanem Karla Poppera i zgodziłem się z tym, co w nim jest. Wydaje mi się, że twoja prezentacja ludycznego błędu jest w zasadzie solidna i zwraca uwagę na prawdziwy i powszechny problem. Uważam jednak, że znaczna część Części III źle zawodzi w twojej ogólnej argumentacji, nawet do tego stopnia, że ​​może zdyskredytować resztę książki. Szkoda, ponieważ uważam, że argumenty dotyczące Czarnych Łabędzi i „nieznanych niewiadomych” opierają się na ich zaletach, nie opierając się na niektórych błędach w części III.

Główną kwestią, na którą chciałbym zwrócić uwagę - i poprosić o twoją odpowiedź, zwłaszcza jeśli źle zrozumiałem problemy - jest twoja nieprawdziwa interpretacja dziedziny stosowanych statystyk. W mojej ocenie rozdziały 14, 15 i 16 zależą w dużej mierze od argumentu słomianego człowieka, fałszywej statystyki i ekonometrii. Dziedzina ekonometrii, którą opisujesz, nie jest tą, której nauczono mnie, gdy studiowałem statystyki stosowane, ekonometrię i teorię ryzyka aktuarialnego (na Australian National University, ale używając tekstów, które wydawały się dość standardowe). Poruszane przez ciebie zagadnienia (takie jak ograniczenia dystrybucji Gaussa) są dobrze i prawdziwie zrozumiane i nauczane, nawet na poziomie licencjackim.

Na przykład dokładasz wszelkich starań, aby pokazać, w jaki sposób rozkład dochodu nie jest zgodny z rozkładem normalnym, i przedstawić to jako argument przeciwko praktyce statystycznej w ogóle. Żaden kompetentny statystyk nigdy nie twierdzi, że tak jest, a sposoby radzenia sobie z tym problemem są dobrze ustalone. Na przykład użycie technik z najbardziej podstawowego poziomu ekonometrii „pierwszego roku”, na przykład przekształcenie zmiennej poprzez przyjęcie jej logarytmu sprawiłoby, że twoje przykłady liczbowe wyglądałyby mniej przekonująco. Taka transformacja w rzeczywistości unieważniłaby wiele z tego, co mówisz, ponieważ wtedy wariancja oryginalnej zmiennej rośnie wraz ze wzrostem jej średniej.

Jestem pewien, że są tacy niekompetentni ekonometrycy, którzy wykonują regresje OLS itp. Z nietransformowaną zmienną odpowiedzi, tak jak mówisz, ale to tylko sprawia, że ​​są niekompetentni i używają technik, które są dobrze znane jako nieodpowiednie. Z pewnością zawiodłyby nawet na studiach licencjackich, które spędzają dużo czasu na szukaniu bardziej odpowiednich sposobów modelowania zmiennych, takich jak dochód, odzwierciedlających rzeczywisty zaobserwowany (nie Gaussowski) rozkład.

Rodzina uogólnionych modeli liniowych to jeden zestaw technik opracowanych częściowo w celu obejścia zgłaszanych problemów. Wiele wykładniczej rodziny rozkładów (np. Rozkład gamma, wykładniczy i Poissona) jest asymetrycznych i ma wariancję, która rośnie wraz ze wzrostem środka rozkładu, omijając problem wskazany za pomocą rozkładu Gaussa. Jeśli nadal jest to zbyt ograniczające, możliwe jest całkowite usunięcie istniejącego wcześniej „kształtu” i po prostu określenie zależności między średnią rozkładu a jego wariancją (np. Umożliwiając wzrost wariancji proporcjonalnie do kwadratu średniej), przy użyciu metody szacowania „quasi-prawdopodobieństwa”.

Oczywiście można argumentować, że ta forma modelowania jest wciąż zbyt uproszczona i intelektualna pułapka, która pozwala nam myśleć, że przyszłość będzie jak przeszłość. Być może masz rację i myślę, że siłą twojej książki jest zachęcenie ludzi takich jak ja do rozważenia tego. Ale potrzebujesz innych argumentów niż te, których używasz w rozdziałach 14-16. Ogromna waga, jaką przykładasz do faktu, że wariancja rozkładu Gaussa jest stała, niezależnie od jej średniej (co powoduje problemy ze skalowalnością), na przykład, jest nieprawidłowa. Podobnie jest z naciskiem na fakt, że rzeczywiste rozkłady są raczej asymetryczne niż krzywe dzwonowe.

Zasadniczo podjąłeś jedno nadmierne uproszczenie najbardziej podstawowego podejścia do statystyki (naiwne modelowanie zmiennych surowych jako posiadających rozkłady Gaussa) i pokazałeś (w dużej mierze) wady takiego uproszczonego podejścia. Następnie wykorzystujesz to, aby zrobić lukę, aby zdyskredytować całe pole. Jest to albo poważny brak logiki, albo technika propagandowa. Jest to niefortunne, ponieważ szkodzi ogólnej argumentacji, z której wiele (jak powiedziałem) uważałem za uzasadnione i przekonujące.

Chciałbym usłyszeć, co powiesz w odpowiedzi. Wątpię, że jako pierwszy podniosłem tę kwestię.

Z poważaniem

PE

Nie czytałem książki, ale jak stwierdzono, krytyka wydaje mi się dość nierozsądna. Jeśli zdarzenia ekstremalne są ważne, statystyki mają odpowiednie narzędzia w zestawie narzędzi, takie jak teoria wartości ekstremalnych, a dobry statystyk będzie wiedział, jak z nich korzystać (lub przynajmniej dowie się, jak z nich korzystać i będzie wystarczająco zaangażowany w celu analiza do obejrzenia). Krytyka wydaje się być taka: „statystyki są złe, ponieważ istnieją źli statystycy, którzy wiedzą tylko o normalnych rozkładach”.

Uważam, że stwierdzenie, iż „głównym założeniem książki jest to, że statystyki nie są zbyt przydatne”, jest niedokładne. Po przeczytaniu książki wydaje się, że mówi, że takie rzeczy, jak finanse ilościowe lub wszelkiego rodzaju obrót papierami wartościowymi, który zakłada normalną dystrybucję, jest zasadniczo wadliwy (w rzeczywistości w książce wzywa ludzi, którzy twierdzą, że używają tych modeli do prognozowania , „szarlatani”). Według Taleba, podczas gdy rozkład normalny świetnie sprawdza się w modelowaniu wartości rzeczy materialnych / fizycznych (np. Wzrost, waga, długość życia itp.), Systemy takie jak rynki są często napędzane ludzkimi emocjami, a zatem są podatne na duże wahania, których normalne rozkłady nie są w stanie dokładnie przewidzieć.

Nie rozumiem dobrze statystyk i dopóki nie przeczytam tutaj odpowiedzi, nigdy nie słyszałem o takich rzeczach, jak teoria ekstremalnej wartości. Niezależnie od tego, Czarny Łabędź i Fooled By Randomness wydają się mieć podobne przesłanki, co oznacza, że ​​„normalna dystrybucja nie zawsze jest OK”. Nie pamiętam, by zniesławiał całą dziedzinę statystyki.

Przeczytałem „Czarnego łabędzia”, podobało mi się i jestem statystykiem. W ogóle nie uważałem jej „krytyki statystyki” za nie do zniesienia. Punkt po punkcie:

1. Taleb nie wynalazł koncepcji czarnego łabędzia. To był ulubiony przykład w myśli filozoficznej od dłuższego czasu!
2. Taleb nie tyle krytykuje „statystyki”, co pewne (złe) ich zastosowania.
3. Książka była bestsellerem. Nie był skierowany do statystyk, ale do ogółu społeczeństwa. Sprawdziło się bardzo dobrze, ucząc publiczność o rzeczach, które statystycy znali bardzo dobrze, ale wielu innych czytelników (większość!) Nie. Mogliśmy więc wiele nauczyć się z tej książki o tym, jak „sprzedawać” statystyki.
4. Co najważniejsze (dla mnie), Taleb zawiera wiele odniesień do starożytnej greckiej filozofii sceptycznej. Nikt inny nie wspomniał o tym tutaj, ale myślę, że włączenie było prawdziwym punktem sprzedaży tej książki!
5. Książka jest dziełem literackim, a nie technicznym. Jeśli chcesz krytykować Taleba za jego pracę techniczną, przejdź do jego strony głównej i pobierz niektóre z jego dokumentów technicznych.

Ci, którym nie podoba się ta odpowiedź lub nie lubią książki, mogą zapoznać się z technicznymi argumentami Taleba w nowym https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. pdf „Ciche ryzyko”, które ma charakter techniczny.

Nie czytałem Czarnego Łabędzia, ale jeśli jego krytyka statystyki jest tak prosta, jak mówisz, to jest śmieszna. Oczywiście niektóre statystyki opierają się na rozkładzie normalnym, ale wiele nie.

Czy można modelować rzadkie zdarzenia? Oczywiście, że mogą. Prawdziwe pytanie brzmi, jak dobrze można je wymodelować. To pytanie będzie miało różne odpowiedzi w różnych dziedzinach, w zależności od tego, ile wiemy o rzadkich zdarzeniach i ich poprzednikach.

W dzisiejszym magazynie NY Times znajduje się ciekawy artykuł Nate Silver na temat poprawy prognozowania pogody w ciągu ostatniej dekady. Obejmuje to lepsze modelowanie rzadkich zdarzeń, takich jak huragany.

Czy książkę warto przeczytać?

Nie przeczytałem też tej książki, ale nie ma mowy, żeby jego argument był tak uproszczony, jak stwierdzenie, że istnieją rozkłady o grubszych ogonach niż rozkład normalny. Byłby to komentarz do innych odpowiedzi, ale nie zgromadziłem wystarczającej liczby wyróżnień na tej stronie.

Z Wikipedii:

„Twierdzi, że statystyki są zasadniczo niekompletne jako dziedzina, ponieważ nie są w stanie przewidzieć ryzyka rzadkich zdarzeń ...”

To pytanie jest również dość podobne do tego, jakie jest stanowisko społeczności w czwartym kwadrancie?

Zdecydowanie polecam recenzję tej książki Dennisa Lindleya. Zawiera szereg druzgocących argumentów przeciwko biednej i aroganckiej prezentacji pomysłów w książce:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

Black Swan to kolejny przykład, w którym bycie „bestsellerem” nie gwarantuje wysokiej jakości treści.

Nie sądzę, żeby Taleb powiedział, że techniki statystyczne oparte na rozkładzie Gaussa nie są przydatne. W książce stwierdził, że są one bardzo przydatne w wielu (ale nie wszystkich) procesach fizycznych i biologicznych oraz modelowaniu. Robi dobre i złe strony (Czarny Łabędź i Powiązane były początkiem plagi „wszystko jest prawem władzy!”, Która wciąż nas prześladuje), ale ważne jest, aby pamiętać, że książka jest zbiorem literackim i filozoficznym eseje przeznaczone dla osób świeckich.

To powiedziawszy, myślę, że Taleb lubi denerwować ludzi. Widać to w jego walce z Myronem Scholesem. W tym przypadku może być przydatna jako edukacja statystyczna na poziomie licencjackim, a czasami na poziomie magisterskim, jakby waha się nad założeniem rozkładów Gaussa. Wyobrażam sobie, że podczas swoich lat finansów natknął się na wiele kwantów z doskonałą znajomością Blacka-Scholesa i innych technik, ale którzy nie brali pod uwagę podstawowych założeń, takich jak rozkład. Podejrzewam, że Taleb naciskał na placówkę oświatową za brak odpowiedniej edukacji.

Ci z was, którzy nie czytali książki, są daleko od bazy. Dokonuje DUŻEGO rozróżnienia między skalowalnym a nieskalowalnym. W przypadku kwestii nieskalowanych tradycyjne statystyki będą wystarczające. W ogóle tego nie krytykuje. Czarne łabędzie pochodzą ze skalowalnych i są trudne do przewidzenia na podstawie danych empirycznych z przeszłości. Książka opowiada o tym, jak te wydarzenia mogą mieć ogromny wpływ i na ogół wyjaśniono je dopiero po fakcie. Epistemologia jest doskonała.

Bez czytania książki uważam, że dzwony gaussowskie zawodzą, ponieważ nigdy nie podały jasnej definicji „gęstości prawdopodobieństwa”; poza tym nigdy nie dają pełnego zestawu punktów krzywych Lorenza, które zawierają jednocześnie sumę zmiennej rozproszonej i sumę populacji, które postrzegają tę pierwszą. Jeżeli stosuje się „gęstość”, należy wyjaśnić, w odniesieniu do jakiej zmiennej; na przykład, jeśli mówisz o kilogramach na litr, odnosi się to do gęstości masy związanej z objętością. Ten krok nie jest podany w teorii Gaussa w podręcznikach. Nic dziwnego, że młodzi ludzie nie rozumieją poprawnie statystyk.