Statystyki i duże zbiory danych

Właśnie natknąłem się na „kryterium informacyjne Akaike” i zauważyłem dużą ilość literatury na temat wyboru modelu (wydaje się, że istnieją również takie rzeczy jak BIC). Dlaczego współczesne metody uczenia maszynowego nie wykorzystują kryteriów wyboru modeli BIC i AIC?

16 machine-learning  model-selection  aic  bic 

Rozważ losową zmienną gamma . Istnieją zgrabne wzory na średnią, wariancję i skośność:X∼Γ(α,θ)X∼Γ(α,θ)X\sim\Gamma(\alpha, \theta) E[X]Var[X]Skewness[X]=αθ=αθ2=1/α⋅E[X]2=2/α−−√E[X]=αθVar⁡[X]=αθ2=1/α⋅E[X]2Skewness⁡[X]=2/α\begin{align} \mathbb E[X]&=\alpha\theta\\ \operatorname{Var}[X]&=\alpha\theta^2=1/\alpha\cdot\mathbb E[X]^2\\ \operatorname{Skewness}[X]&=2/\sqrt{\alpha} \end{align} Rozważmy teraz zmienną losową przekształconą logarytmicznie . Wikipedia podaje wzory na średnią i wariancję:Y=log(X)Y=log⁡(X)Y=\log(X) E[Y]Var[Y]=ψ(α)+log(θ)=ψ1(α)E[Y]=ψ(α)+log⁡(θ)Var⁡[Y]=ψ1(α)\begin{align} \mathbb E[Y]&=\psi(\alpha)+\log(\theta)\\ \operatorname{Var}[Y]&=\psi_1(\alpha)\\ \end{align} poprzez funkcje digamma i trigamma, które są zdefiniowane jako pierwsza …

16 gamma-distribution  skewness  logarithm 

Badano losową próbę populacji. Zapytano ich, czy jedzą dietę wegetariańską. Jeśli odpowiedzieli „tak”, poproszono ich również o określenie, jak długo bez przerwy je dietę wegetariańską. Chcę wykorzystać te dane do obliczenia średniej długości przestrzegania zasady wegetarianizmu. Innymi słowy, kiedy ktoś zostaje wegetarianinem, chcę wiedzieć, że średnio długo pozostaje wegetarianinem. Załóżmy, …

16 survival  mean  missing-data  survey  weighted-mean 

Chociaż wyników prywatnego zestawu testowego nie można wykorzystać do dalszego udoskonalenia modelu, to czy wybór modelu z ogromnej liczby modeli przeprowadzanych na podstawie wyników prywatnego zestawu testowego nie jest możliwy? Czy nie sprawiłbyś, że dzięki temu samemu procesowi nadmierne dopasowanie do prywatnego zestawu testowego? Według „Pseudo-matematyki i finansowego szarlatanizmu: skutki …

16 model-selection  overfitting  out-of-sample 

Wzory modelowe w R, takie jak y ~ x + a*b + c:d oparte są na tak zwanej notacji Wilkinsona : Wilkinson i Rogers 1973, Symboliczny opis modeli czynnikowych do analizy wariancji . Ten artykuł nie omawiał notacji dla modeli mieszanych (które mogły wtedy nie istnieć). Skąd więc wzięły się …

16 r  mixed-model  lme4-nlme  notation  history 

Próbuję lepiej zrozumieć utratę logów i sposób, w jaki to działa, ale jedną rzeczą, której nie mogę znaleźć, jest umieszczenie numeru utraty logów w jakimś kontekście. Jeśli mój model ma utratę dziennika 0,5, czy to dobrze? Co uważa się za dobry i zły wynik? Jak zmieniają się te progi?

16 machine-learning  loss-functions  log-loss 

W większości przypadków, gdy ludzie mówią o transformacjach zmiennych (zarówno dla zmiennych predykcyjnych, jak i zmiennych odpowiedzi), dyskutują o sposobach leczenia skośności danych (takich jak transformacja logów, transformacja box i Cox itp.). Nie jestem w stanie zrozumieć, dlaczego usuwanie skośności jest uważane za tak powszechną najlepszą praktykę? W jaki sposób …

16 modeling  skewness 

Czytałem artykuł i zobaczyłem następujące zdanie: Dla danego Martingale, jeśli ma górną lub dolną granicę, to Martingale musi się zbiegać (as). Ponieważ prawdopodobieństwo jest zawsze nieujemne, 0 jest dolną granicą. Co oznacza „as”? Czy to powszechne zastosowanie? Domyślam się „asymptotycznie”, ale chciałbym to zweryfikować.

16 abbreviation 

Co to jest model zerowy w regresji i jaki jest związek między modelem zerowym a hipotezą zerową? Dla mojego zrozumienia, czy to oznacza Używasz „średniej zmiennej odpowiedzi” do przewidywania zmiennej odpowiedzi ciągłej? Używasz „rozkładu etykiet” w przewidywaniu zmiennych dyskretnych odpowiedzi? W takim przypadku wydaje się, że brakuje powiązań między hipotezą …

16 regression  hypothesis-testing  classification  terminology  model 

Jestem trochę zdezorientowany co do nauki zespołowej. Krótko mówiąc, uruchamia k modeli i otrzymuje średnią z tych k modeli. Jak można zagwarantować, że średnia z modeli k byłaby lepsza niż którykolwiek z samych modeli? Rozumiem, że odchylenie jest „rozłożone” lub „uśrednione”. Co jednak, jeśli w zespole są dwa modele (tj. …

16 machine-learning  ensemble 

Ten problem jest związany z badaniami mojego laboratorium w zakresie robotów: Narysuj losowo liczb ze zbioru bez zamiany i posortuj liczby w porządku rosnącym. .n nn{ 1 , 2 , … , m } {1,2,…,m}\{1,2,\ldots,m\}1 ≤ n ≤ m1≤n≤m1\le n\le m Z tej posortowanej listy liczb wygeneruj różnicę między kolejnymi …

16 probability  mathematical-statistics  uniform  combinatorics  order-statistics 

Jakie teoretyczne podejścia do związku przyczynowego powinienem znać jako statystyczny / ekonometryczny? Znam (trochę) Model przyczynowy Neyman – Rubin (i Roy , Haavelmo itp.) Praca Pearl o przyczynowości Przyczynowość Grangera (choć mniej zorientowana na leczenie) Których koncepcji brakuje mi, czy powinienem być świadomy? Powiązane: Które teorie są podstawą przyczynowości w …

16 machine-learning  causality  theory  treatment-effect 

Dowiedziałem się, że standardowy rozkład normalny jest unikalny, ponieważ średnia i wariancja są ustalone odpowiednio na 0 i 1. Przez ten fakt zastanawiam się, czy jakieś dwie standardowe zmienne losowe muszą być niezależne.

16 normal-distribution  independence 

W literaturze dotyczącej sieci neuronowych często spotykamy słowo „tensor”. Czy różni się od wektora? A z matrycy? Czy masz jakiś konkretny przykład, który wyjaśnia jego definicję? Jestem trochę zdezorientowany co do jego definicji. Wikipedia nie pomaga i czasami mam wrażenie, że jej definicja zależy od konkretnego używanego środowiska uczenia maszynowego …

16 neural-networks  terminology  definition  tensor 

Rozważ standardowy problem regresji OLS : Mam macierze i i chcę znaleźć aby zminimalizować L = \ | \ Y- \ X \ B \ | ^ 2. Rozwiązanie podano przez \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ …

16 regression  least-squares  ridge-regression