Statystyki i duże zbiory danych

3

Czy istnieje dziś ktoś szybszy niż Usain Bolt?

EDYCJA: Bardziej interesują mnie kwestie techniczne i metodologia określania prawdopodobieństwa „prawdziwego” maksimum w danej populacji na podstawie przykładowej statystyki. Istnieją problemy z oszacowaniem prawdopodobieństwa szybszych biegaczy niż pan Bolt na podstawie rekordowych czasów biegu, które są zarówno oczywiste, jak i subtelne. Humor mnie, wyobrażając sobie, że tak nie jest. Usain …

12 normal-distribution maximum

1

Dlaczego redundantna średnia parametryzacja przyspiesza Gibbs MCMC?

W książce Gelman & Hill (2007) (Analiza danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych) autorzy twierdzą, że uwzględnienie redundantnych parametrów średnich może przyspieszyć MCMC. Podany przykład jest nie zagnieżdżonym modelem „symulatora lotu” (równanie 13.9): yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, …

12 mcmc hierarchical-bayesian gibbs

2

Splajny w GLM i GAM

Czy to źle, że splajny są dostępne tylko w modelach GAM, a nie w modelach GLM? Słyszałem to jakiś czas temu i zastanawiam się, czy to tylko nieporozumienie, czy też ma w tym trochę prawdy. Oto ilustracja:

12 generalized-linear-model splines

2

Konstruowanie przykładu pokazującego

Jak skonstruować przykład rozkładu prawdopodobieństwa, dla którego , przy założeniu, że ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 Nierówność wynikająca z nierówności Jensena dla RV o dodatniej wartości jest jak (odwrotna nierówność, jeśli ). Wynika to z faktu, że mapowanie jest wypukłe dla i wklęsłe dla . Zgodnie z warunkiem równości w nierówności Jensena, sądzę, że …

12 probability distributions random-variable expected-value

5

Jak interpretować ten wykres punktowy?

Mam wykres punktowy, który ma wielkość próby równą liczbie osób na osi x i medianę wynagrodzenia na osi y, próbuję dowiedzieć się, czy wielkość próby ma jakikolwiek wpływ na medianę wynagrodzenia. Oto fabuła: Jak interpretować ten wątek?

12 data-visualization median scatterplot pandas

2

Czy konkursy Kaggle są po prostu wygrane przez przypadek?

Zawody Kaggle określają końcowe rankingi na podstawie ustalonego zestawu testów. Wyciągnięty zestaw testowy jest próbką; może nie być reprezentatywny dla modelowanej populacji. Ponieważ każde zgłoszenie jest jak hipoteza, algorytm, który wygrał konkurencję, może po prostu przypadkiem dopasować zestaw testowy lepiej niż inne. Innymi słowy, gdyby wybrano inny zestaw testów i …

12 machine-learning probability hypothesis-testing sample kaggle

2

Jak korzystać z filtra Kalmana?

Mam trajektorię obiektu w przestrzeni 2D (powierzchni). Trajektoria jest podana jako ciąg (x,y)współrzędnych. Wiem, że moje pomiary są hałaśliwe i czasami mam oczywiste wartości odstające. Chcę więc odfiltrować moje obserwacje. O ile rozumiem filtr Kalmana, robi dokładnie to, czego potrzebuję. Więc próbuję go użyć. Znalazłem tutaj implementację Pythona . A …

12 python kalman-filter smoothing

2

Czy źle jest wybierać funkcje oparte na wartości p?

Istnieje kilka postów na temat wybierania funkcji. Jedna z metod opisuje ważność funkcji na podstawie statystyki t. W R varImp(model)zastosowanym na modelu liniowym ze znormalizowanymi cechami stosuje się wartość bezwzględną statystyki t dla każdego parametru modelu. Zasadniczo wybieramy funkcję na podstawie jej statystyki t, co oznacza, jak precyzyjny jest współczynnik. …

12 regression p-value feature-selection

5

Dlaczego suma Precyzji i Odwołania nie jest godnym środkiem?

Jaki jest najlepszy sposób, aby wyjaśnić, dlaczego jest nie dobry środek, powiedzmy, w porównaniu do F1?Precision+RecallPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall

2

Wykres QQ wygląda normalnie, ale test Shapiro-Wilka mówi inaczej

W R mam próbkę 348 miar i chcę wiedzieć, czy mogę założyć, że jest ona normalnie dystrybuowana do przyszłych testów. Zasadniczo po kolejnej odpowiedzi stosu patrzę na wykres gęstości i wykres QQ z: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) Nie mam dużego doświadczenia w statystyce, ale wyglądają jak przykłady normalnych dystrybucji, …

12 r normal-distribution

3

Dlaczego używamy PCA do przyspieszania algorytmów uczenia się, skoro możemy po prostu zmniejszyć liczbę funkcji?

Na kursie uczenia maszynowego dowiedziałem się, że jednym z powszechnych zastosowań PCA ( Principal Component Analysis ) jest przyspieszenie innych algorytmów uczenia maszynowego. Na przykład wyobraź sobie, że trenujesz model regresji logistycznej. Jeśli masz zestaw treningowy dla i od 1 do n i okazuje się, że wymiar wektora x jest …

12 machine-learning pca

2

Dlaczego doświadczenie odtwarzania wymaga algorytmu niezgodnego z zasadami?

W artykule wprowadzającym DQN „ Playing Atari with Deep Reinforcement Learning ” wspomniano: Pamiętaj, że ucząc się na podstawie powtórki z doświadczenia, musisz nauczyć się pozasądowych zasad (ponieważ nasze obecne parametry różnią się od parametrów używanych do generowania próbki), co motywuje wybór Q-learningu. Nie do końca zrozumiałem, co to znaczy. …

12 reinforcement-learning

2

Spadek gradientu nie znajduje rozwiązania dla zwykłych najmniejszych kwadratów w tym zestawie danych?

Studiowałem regresję liniową i wypróbowałem ją poniżej zestawu {(x, y)}, gdzie x określał powierzchnię domu w metrach kwadratowych, ay określał cenę w dolarach. To jest pierwszy przykład w notatkach Andrew Ng . 2104,400 1600,330 2400,369 1416,232 3000,540 Opracowałem przykładowy kod, ale kiedy go uruchamiam, koszt rośnie z każdym krokiem, podczas …

12 regression least-squares gradient-descent supervised-learning

2

Co to są prawidłowości i regularyzacja?

Coraz częściej słyszę te słowa, ucząc się uczenia maszynowego. W rzeczywistości niektórzy ludzie zdobyli medal Fieldsa, pracując nad prawidłowością równań. Sądzę więc, że jest to termin, który przenosi się z fizyki statystycznej / matematyki na uczenie maszynowe. Oczywiście wiele osób, o które pytałem, nie mogło tego intuicyjnie wyjaśnić. Wiem, że …

12 machine-learning self-study terminology regularization definition

2

Jak rozwiązać najmniejsze odchylenie bezwzględne metodą simpleks?

Oto problem najmniejszych odchyleń bezwzględnych:. Wiem, że można to zmienić jako problem LP w następujący sposób:argminwL ( w ) = ∑ni = 1|yi−wTx |arg⁡minwL.(w)=∑ja=1n|yja-wT.x| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min ∑ni = 1ujamin∑ja=1nuja\min \sum_{i=1}^{n}u_{i} uja≥ xT.w - yjai = 1 , … , nuja≥xT.w-yjaja=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n uja≥ - …

12 regression optimization quantile-regression linear-programming least-absolute-deviations