Matematyk chce równoważnej wiedzy do stopnia statystyki jakości

Wiem, że ludzie uwielbiają zamknąć duplikaty, więc jestem nie z prośbą o odniesienie się rozpocząć statystyki nauki (jak tutaj ).

Mam doktorat z matematyki, ale nigdy nie uczyłem się statystyki. Jaka jest najkrótsza droga do równoważnej wiedzy do najwyższego stopnia statystyki BS i jak mam zmierzyć, kiedy to osiągnęłam.

Jeśli wystarczyłaby lista książek (powiedzmy, że wykonuję ćwiczenia), to wspaniałe. Tak, spodziewam się, że rozwiązywanie problemów będzie domyślną częścią uczenia się tego, ale chcę przyspieszyć jak najbardziej realistycznie. Nie szukam szalenie rygorystycznego traktowania, chyba że jest to część tego, czego na ogół uczą się główne statystyki.

(Bardzo) krótka historia

Krótko mówiąc, w pewnym sensie statystyki są jak każda inna dziedzina techniki: nie ma szybkiej ścieżki .

Długa historia

Studia licencjackie w dziedzinie statystyki są stosunkowo rzadkie w Stanach Zjednoczonych. Jednym z powodów, dla których uważam, że to prawda, jest to, że dość trudno jest spakować wszystko, co jest konieczne, aby uczyć się statystyki dobrze w programie studiów licencjackich. Dotyczy to szczególnie uniwersytetów, które mają istotne wymagania w zakresie kształcenia ogólnego.

Rozwijanie niezbędnych umiejętności (matematycznych, obliczeniowych i intuicyjnych) wymaga dużo wysiłku i czasu. Statystyki można zacząć rozumieć na dość przyzwoitym poziomie „operacyjnym”, gdy uczeń opanuje rachunek różniczkowy i przyzwoitą ilość algebry liniowej i macierzowej. Jednak każdy zastosowany statystyk wie, że dość łatwo jest znaleźć się na terytorium, które nie jest zgodne z programem do cięcia plików cookie lub opartym na przepisach podejściem do statystyki. Prawdziwe zrozumienie tego, co dzieje się pod powierzchnią, wymaga jako warunek wstępnydojrzałość matematyczna i, w dzisiejszym świecie, obliczeniowa dojrzałość, które są naprawdę osiągalne dopiero w późniejszych latach kształcenia na poziomie licencjackim. Jest to jeden z powodów, dla których prawdziwe szkolenie statystyczne rozpoczyna się głównie na poziomie stwardnienia rozsianego w USA (Indie, z ich dedykowanym ISI to trochę inna historia. Podobny argument można wysunąć na temat edukacji opartej na Kanadzie. Nie jestem wystarczająco zaznajomiony z Edukacja statystyczna licencjackich szkół europejskich lub rosyjskich w celu uzyskania świadomej opinii).

Prawie każda (interesująca) praca wymagałaby wykształcenia na poziomie MS, a naprawdę interesujące (moim zdaniem) prace zasadniczo wymagają wykształcenia na poziomie doktora.

Ponieważ masz doktorat z matematyki, choć nie wiemy w jakiej dziedzinie, oto moje sugestie dotyczące czegoś bliższego edukacji na poziomie stwardnienia rozsianego. Dołączam uwagi w nawiasach, aby wyjaśnić wybór.

1. D. Huff, Jak kłamać ze statystykami . (Bardzo szybki, łatwy do odczytania. Pokazuje wiele pojęć koncepcyjnych i pułapek, w szczególności przy przedstawianiu statystyk laikowi.)
2. Mood, Graybill i Boes, Introduction to Theory of Statistics , 3rd ed., 1974. (Wprowadzenie do statystyki teoretycznej na poziomie MS. Dowiesz się o rozkładach próbkowania, estymacji punktowej i testowaniu hipotez w klasycznym, częstym systemie. Mój opinia jest taka, że ​​jest to na ogół lepsze i nieco bardziej zaawansowane niż współczesne odpowiedniki, takie jak Casella i Berger lub Rice.)
3. Seber & Lee, Linear Regression Analysis , 2. wyd. (Przedstawia teorię estymacji punktów i testowania hipotez dla modeli liniowych, co jest prawdopodobnie najważniejszym tematem do zrozumienia w zastosowanych statystykach. Ponieważ prawdopodobnie masz dobre tło algebry liniowej, powinieneś być w stanie natychmiast zrozumieć, co dzieje się geometrycznie , który zapewnia wiele intuicji. Ma również dobre informacje związane z kwestiami oceny w wyborze modelu, odstępstw od założeń, prognoz i solidnych wersji modeli liniowych).
4. Hastie, Tibshirani i Friedman, Elements of Statistics Learning , 2nd ed., 2009. (Ta książka ma znacznie bardziej praktyczne zastosowanie niż poprzednia i ogólnie obejmuje wiele współczesnych tematów uczenia maszynowego. Główny wkład ma tutaj zapewnienie interpretacji statystycznych wielu pomysłów na uczenie maszynowe, które opłaca się w szczególności w obliczaniu niepewności w takich modelach. Jest to coś, co zwykle nie jest omawiane w typowych książkach o uczeniu maszynowym. Tutaj legalnie dostępne za darmo .)
5. A. Agresti, Categorical Data Analysis , wyd. 2 (Dobra prezentacja sposobu postępowania z dyskretnymi danymi w ramach statystycznych. Dobra teoria i dobre przykłady praktyczne. Być może pod pewnymi względami tradycyjna.)
6. Boyd i Vandenberghe, Optymalizacja wypukła . (Wiele najpopularniejszych współczesnych problemów z estymacją statystyczną i testowaniem hipotez można sformułować jako wypukłe problemy z optymalizacją. Dotyczy to również wielu technik uczenia maszynowego, np. Maszyn wirtualnych. Mając szersze zrozumienie i zdolność rozpoznawania takich problemów, jak programy wypukłe wydaje mi się, że jest bardzo cenny. Tutaj legalnie dostępny za darmo .)
7. Efron i Tibshirani, Wprowadzenie do paska startowego . (Powinieneś przynajmniej znać pasek startowy i powiązane techniki. W przypadku podręcznika jest to szybki i łatwy do przeczytania).
8. J. Liu, Monte Carlo Strategies in Scientific Computing lub P. Glasserman, Monte Carlo Methods in Financial Engineering . (To ostatnie wydaje się być bardzo ukierunkowane na konkretny obszar zastosowań, ale myślę, że da dobry przegląd i praktyczne przykłady wszystkich najważniejszych technik. Zastosowania inżynierii finansowej doprowadziły do ​​sporej liczby badań Monte Carlo w ciągu ostatniej dekady .)
9. E. Tufte, Wizualne wyświetlanie informacji ilościowych . (Dobra wizualizacja i prezentacja danych jest [wysoce] niedoceniana, nawet przez statystyk.)
10. J. Tukey, Analiza danych eksploracyjnych . (Standardowo. Staruszek, ale skarbie. Niektórzy mogą powiedzieć, że są przestarzałe, ale nadal warto na nie spojrzeć.)

Uzupełnienia

Oto kilka innych książek, w większości nieco bardziej zaawansowanych, teoretycznych i / lub pomocniczych, które są pomocne.

1. FA Graybill, teoria i zastosowanie modelu liniowego . (Staroświecki, straszny skład, ale obejmuje cały ten sam teren Seber & Lee itp.) Mówię staroświecki, ponieważ bardziej nowoczesne metody leczenia prawdopodobnie wykorzystywałyby SVD do ujednolicenia i uproszczenia wielu technik i dowodów.)
2. FA Graybill, Matryce z aplikacjami w statystyce . (Tekst dodatkowy do powyższego. Bogactwo dobrych wyników algebry macierzowej przydatnych tutaj w statystykach. Świetne źródło informacji).
3. Devroye, Gyorfi i Lugosi, Probabilistyczna teoria rozpoznawania wzorów . (Rygorystyczny i teoretyczny tekst na temat kwantyfikacji wydajności w problemach klasyfikacyjnych.)
4. Brockwell i Davis, Szeregi czasowe: teoria i metody . (Klasyczna analiza szeregów czasowych. Traktowanie teoretyczne. W przypadku bardziej zastosowanych teksty Box, Jenkins i Reinsel lub Ruey Tsay są przyzwoite.)
5. Motwani i Raghavan, Randomized Algorytmy . (Metody probabilistyczne i analiza dla algorytmów obliczeniowych.)
6. D. Williams, Prawdopodobieństwo i Martingales i / lub R. Durrett, Prawdopodobieństwo: teoria i przykłady . (W przypadku, gdy widziałeś teorię miary, powiedzmy, na poziomie DL Cohna, ale może nie teorię prawdopodobieństwa. Oba są dobre do szybkiego przyspieszenia, jeśli już znasz teorię miary.)
7. F. Harrell, Strategie modelowania regresji . (Nie tak dobry jak elementy uczenia statystycznego [ESL], ale ma inne i interesujące podejście. Obejmuje bardziej „tradycyjne” tematy statystyki stosowanej niż ESL i na pewno warto o tym wiedzieć).

Bardziej zaawansowane teksty (na poziomie doktoratu)

8. Lehmann i Casella, Theory of Point Estimation . (Traktowanie estymacji punktów na poziomie doktora. Częścią wyzwania tej książki jest przeczytanie jej i ustalenie, co jest literówką, a co nie. Gdy zobaczysz, jak szybko je rozpoznajesz, zrozumiesz, że rozumiesz. Jest mnóstwo praktyki tego typu tam, szczególnie jeśli nurkujesz w problemach).

9. Lehmann i Romano, Testowanie hipotez statystycznych . (Leczenie testowania hipotez na poziomie doktora. Nie tak wiele literówek jak TPE powyżej.)

10. A. van der Vaart, Statystyka asymetryczna . (Piękna książka o asymptotycznej teorii statystyki z dobrymi wskazówkami na temat obszarów zastosowania. Nie jest to jednak książka stosowana. Moją jedyną sprzeczką jest to, że używa się dość dziwnej notacji, a szczegóły są czasami szczotkowane pod dywan.)

Nie mogę wypowiadać się w przypadku bardziej rygorystycznych szkół, ale robię licencjat z statystyki ogólnej (najbardziej rygorystyczny w mojej szkole) na University of California w Davis, i dość duża zależność od dyscypliny i wyprowadzania. Doktorat z matematyki będzie pomocny, ponieważ będziesz miał bardzo silne doświadczenie w prawdziwej analizie i algebrze liniowej - przydatne umiejętności w statystyce. W moim programie statystycznym około 50% zajęć ma wspierać podstawy (algebra liniowa, analiza rzeczywista, rachunek różniczkowy, prawdopodobieństwo, oszacowanie), a pozostałe 50% idzie na specjalistyczne tematy, które opierają się na podstawach (nieparametryczne, obliczenia, ANOVA / Regresja, szeregi czasowe, analiza bayesowska).
Gdy zdobędziesz podstawy, przeskoczenie do szczegółów nie jest zwykle zbyt trudne. Większość osób w moich klasach boryka się z dowodami i prawdziwą analizą i z łatwością chwyta pojęcia statystyczne, więc pochodzenie z matematyki z pewnością pomoże. Biorąc to pod uwagę, następujące dwa teksty zawierają całkiem dobre omówienie wielu tematów objętych statystykami. Nawiasem mówiąc, oba były zalecane w podanym przez ciebie linku, więc nie powiedziałbym, że twoje pytanie i to, które podłączyłeś, jest koniecznie nieskorelowane.

Matematyczne metody statystyki , Harald Cramer

Wszystkie statystyki: zwięzły kurs wnioskowania statystycznego , autorstwa Larry'ego Wassermana

Królewskie Towarzystwo Statystyczne w Wielkiej Brytanii oferuje dyplom ukończenia studiów statystycznych na poziomie dobrego licencjata. Program nauczania, lista lektur i poprzednie artykuły są dostępne na ich stronie internetowej . Wiem, że matematycy używają go do przyspieszania statystyki. Zdawanie egzaminów (oficjalnie lub w zaciszu własnego gabinetu) może być przydatnym sposobem pomiaru, kiedy tam jesteś.

Odwiedzałbym strony z programami nauczania najlepszych szkół statystycznych, zapisywałam książki, których używają na swoich kursach licencjackich, sprawdzał, które są wysoko oceniane w Amazon, i zamawiałam je w bibliotece publicznej / uniwersyteckiej.

Niektóre szkoły do ​​rozważenia:

• MIT - technicznie, nauczany krzyżowo z Harvardem.
• Caltech
• Carnegie Mellon
• Stanford

Uzupełnij teksty o różne witryny wideo z wykładami, takie jak MIT OCW i videolectures.net.

Caltech nie ma stopnia licencjata w statystyce, ale nie popełnisz błędu, postępując zgodnie z programem nauczania ich kursów statystyki licencjackiej.

Widziałem Wnioskowanie statystyczne, autorstwa Silveya, używane przez matematyków, którzy potrzebowali pewnego dnia opanowania statystyki. To mała książka, która z pewnością powinna być tania. Patrząc na http://www.amazon.com/Statistic-Inference-Monographs-Statistics-Probability/dp/0412138204/ref=sr_1_1?ie=UTF8&s=books&qid=1298750064&sr=1-1 , wydaje się być tani z drugiej ręki.

Jest stary i koncentruje się na klasycznych statystykach. Chociaż nie jest wysoce abstrakcyjny, jest przeznaczony dla dość matematycznej publiczności - wiele ćwiczeń pochodzi z Cambridge (UK) Diploma in Mathematical Statistics, który jest w zasadzie magistrem.

Jeśli chodzi o pomiar swojej wiedzy: możesz wziąć udział w niektórych konkursach eksploracji / analizy danych, takich jak 1 , 2 , 3 , 4 , i zobaczyć, jak zdobywasz punkty w porównaniu do innych.

W odpowiedziach jest wiele wskazówek do podręczników dotyczących statystyki matematycznej. Chciałbym dodać jako odpowiednie tematy:

• empiryczny element badań społecznych, który obejmuje teorię próbkowania, standardy społeczno-demograficzne i regionalne
• zarządzanie danymi, które obejmuje wiedzę na temat baz danych (pisanie zapytań SQL, popularne schematy baz danych)
• komunikacja, jak prezentować wyniki w taki sposób, aby odbiorca nie zasnął (metody wizualizacji)

Zastrzeżenie: Nie jestem statystykiem, to tylko moje 2 centy

ET. Nie mogę się doczekać rekomendacji dla częstych stron rzeczy (mam mnóstwo monografii, ale bardzo niewiele dobrych tekstów ogólnych).

Pochodzę z informatyki, koncentrując się na uczeniu maszynowym. Jednak naprawdę zacząłem rozumieć (i ważniejsze do zastosowania) statystyki po ukończeniu kursu rozpoznawania wzorców za pomocą Bishop's Book https://www.microsoft.com/en-us/research/people/cmbishop/#!prml-book

Oto niektóre slajdy kursów z MIT:
http://www.ai.mit.edu/courses/6.867-f03/lectures.html

To da ci tylko tło (+ trochę kodu Matlaba) do użycia statystyk dla rzeczywistych problemów z pracą i jest zdecydowanie bardziej po stronie zastosowanej.

Jednak w dużej mierze zależy to od tego, co chcesz zrobić ze swoją wiedzą. Aby dowiedzieć się, na ile jesteś dobry, możesz przejrzeć otwarte artykuły niektórych uniwersytetów w celu uzyskania zaawansowanych statystyk, aby sprawdzić, czy znasz omawiane tematy. Tylko moje 5 centów.

Myślę, że Stanford zapewnia najlepsze zasoby, jeśli chodzi o elastyczność. Mają nawet kurs uczenia maszynowego online, który dostarczyłby ci solidną bazę wiedzy, jeśli chodzi o projektowanie algorytmów w R. Poszukaj go w Google, a przekieruje cię na stronę Lagunita, gdzie mają kilka interesujących kursów, większość oni są wolni. Mam książki Tibshirani, Wprowadzenie do uczenia statystycznego i Elementy uczenia statystycznego w formacie PDF i oba są niezwykle dobrymi zasobami.

Ponieważ jesteś matematykiem, nadal radziłbym ci nie przyspieszać, ponieważ nie zapewniłoby to solidnej podstawy, która może być bardzo pomocna w przyszłości, jeśli w ogóle zaczniesz poważnie uczyć się maszyn. Traktuj statystyki jako gałąź matematyki, aby uzyskać wgląd w dane, a to wymaga trochę pracy. Poza tym istnieje mnóstwo zasobów internetowych, Johns Hopkins zapewnia podobne rzeczy jak Stanford. Chociaż doświadczenie zawsze się opłaca, szanowana referencja zawsze wzmocni tę bazę. Możesz również pomyśleć o konkretnych polach, które chcesz wprowadzić; Rozumiem przez to, czy chcesz przejść do analizy tekstu, czy zastosować swoje umiejętności matematyczne i statystyczne w finansach. Pochodzę z tej drugiej kategorii, więc mam dyplom z ekonometrii, w którym studiowaliśmy finanse + statystykę. Kombinacja zawsze może być bardzo dobra.