Statystyki i duże zbiory danych intuition

2

Test Kołmogorowa – Smirnowa: wartość p i statystyki testu ks zmniejszają się wraz ze wzrostem wielkości próby

Dlaczego wartości p i statystyki testu ks zmniejszają się wraz ze wzrostem wielkości próby? Weź ten kod Python jako przykład: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) print ks_2samp(x, y) …

12 python p-value goodness-of-fit intuition scipy

1

Jaka intuicja kryje się za metryką zmienności informacji (VI) do walidacji klastra?

Dla takich statystycznych statystów jak ja bardzo trudno jest uchwycić ideę VImetryki (zmienności informacji) nawet po przeczytaniu odpowiedniego artykułu Marina Melii „ Porównywanie klastrów - odległość oparta na informacjach ” (Journal of Multivariate Analysis, 2007). W rzeczywistości nie znam wielu warunków klastrowania. Poniżej znajduje się MWE i chciałbym wiedzieć, co …

11 r clustering validation intuition

3

Intuicja i zastosowania współczynnika zmienności

Obecnie uczęszczam na kurs An Introduction to Operations Management na Coursera.org. W pewnym momencie profesor zaczął zajmować się zmiennością czasu operacji. Miarą, którą stosuje, jest współczynnik zmienności , stosunek między odchyleniem standardowym a średnią: cv=σμcv=σμc_v = \frac{\sigma}{\mu} Dlaczego warto zastosować ten pomiar? Jakie są zalety i wady pracy z CV …

11 standard-deviation intuition coefficient-of-variation

2

Jak zrozumieć splotową sieć głębokich przekonań do klasyfikacji audio?

W „ Konwolucyjnych sieciach głębokiego przekonania dla skalowalnego, bez nadzoru uczenia się reprezentacji hierarchicznych ” Lee i in. al. ( PDF ) Proponowane są konwergentne DBN. Oceniana jest również metoda klasyfikacji obrazów. Brzmi to logicznie, ponieważ istnieją naturalne lokalne funkcje obrazu, takie jak małe rogi i krawędzie itp. W „ …

11 classification unsupervised-learning intuition deep-belief-networks

1

R / mgcv: Dlaczego produkty tensorowe te () i ti () wytwarzają różne powierzchnie?

mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

2

Jaka intuicja kryje się za rekurencyjną siecią neuronową Long Short Term Memory (LSTM)?

Idea Recurrent Neural Network (RNN) jest dla mnie jasna. Rozumiem to w następujący sposób: Mamy sekwencję obserwacji ( ) (lub innymi słowy, wielowymiarowe szeregi czasowe). Każda pojedyncza obserwacja jest wymiarową wektor numeryczne. W modelu RNN zakładamy, że następna obserwacja jest funkcją wcześniejszej obserwacji a także poprzedniego „stanu ukrytego” , gdzie …

11 time-series neural-networks predictive-models intuition rnn

3

Intuicja za

Zamkniętą formę w regresji liniowej można zapisać jako w^=(XTX)−1XTyw^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Ty Jak intuicyjnie wyjaśnić rolę w tym równaniu?(XTX)−1(XTX)−1(X^TX)^{-1}

10 regression least-squares matrix intuition matrix-inverse

3

Intuicja kryjąca się za wzorem wariancji sumy dwóch zmiennych

Wiem z poprzednich badań, że Var(A+B)=Var(A)+Var(B)+2Cov(A,B)Var(A+B)=Var(A)+Var(B)+2Cov(A,B)Var(A+B) = Var(A) + Var(B) + 2 Cov (A,B) Nie rozumiem jednak, dlaczego tak jest. Widzę, że efektem będzie „podniesienie” wariancji, gdy kowboja A i B bardzo wysoko. Sensowne jest, że gdy tworzysz kompozyt z dwóch wysoce skorelowanych zmiennych, zwykle dodajesz wysokie obserwacje z A …

10 variance covariance intuition

1

Intuicyjne wyjaśnienie odwrotnego prawdopodobieństwa wag leczenia (IPTW) w ważeniu wyniku skłonności?

Rozumiem mechanikę obliczania wag z wykorzystaniem wyników skłonności : w i , j = t r e ap ( xja)p(xja)p(x_i) a następnie zastosowanie wag w analizie regresji, a wagi służą do „kontrolowania” lub rozdzielania efektów zmiennych towarzyszących w populacjach grupy leczonej i kontrolnej ze zmienną wynikową.wi , j = t …

10 intuition weighted-regression propensity-scores

2

Rozbieżność Kullbacka-Leiblera dla dwóch próbek

Próbowałem zaimplementować oszacowanie liczbowe dywergencji Kullbacka-Leiblera dla dwóch próbek. Aby debugować implementację, narysuj próbki z dwóch rozkładów normalnych N(0,1)N(0,1)\mathcal N (0,1) i N(1,2)N(1,2)\mathcal N (1,2) . Dla prostego oszacowania wygenerowałem dwa histogramy i próbowałem liczbowo aproksymować całkę. Utknąłem z obsługą tych części histogramu, w których przedziały jednego z histogramów mają …

10 estimation intuition kullback-leibler numerics

1

Dlaczego

W zestawie problemów udowodniłem ten „lemat”, którego wynik nie jest dla mnie intuicyjny. ZZZ jest standardowym rozkładem normalnym w modelu ocenzurowanym. Formalnie, Z∗∼Norm(0,σ2)Z∗∼Norm(0,σ2)Z^* \sim Norm(0, \sigma^2) , a Z=max(Z∗,c)Z=max(Z∗,c)Z = max(Z^*, c) . Następnie E[Z|Z>c]=∫∞cziϕ(zi)dzi=12π−−√∫∞cziexp(−12z2i)dzi=12π−−√exp(−12c2) (Integration by substitution)=ϕ(c)E[Z|Z>c]=∫c∞ziϕ(zi)dzi=12π∫c∞ziexp(−12zi2)dzi=12πexp(−12c2) (Integration by substitution)=ϕ(c)\begin{align} E[Z|Z>c] &= \int_c^\infty z_i \phi({z_i})\mathrm{d}z_i \\ &= \frac{1}{\sqrt{2\pi}}\int_c^\infty z_i …

10 normal-distribution pdf intuition

2

Odpowiednia miara, aby znaleźć najmniejszą macierz kowariancji

W podręczniku, który czytam, używają one pozytywnej definitywności (półdodatniej definitywności) do porównania dwóch macierzy kowariancji. Pomysł jest, że jeśli jest Pd następnie jest mniejsza niż . Ale walczę o intuicję tego związku?A - BA−BA-BbBBZAAA Istnieje podobny wątek tutaj: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices Jaka jest intuicja używania definitywności do porównywania macierzy? Chociaż odpowiedzi są …

10 covariance-matrix matrix intuition linear-algebra geometry

3

Dlaczego błąd standardowy proporcji dla danego n jest największy dla 0,5?

Standardowy błąd proporcji będzie największy, jaki może być dla danego N, gdy proporcja wynosi 0,5, a zmniejsza się wraz ze wzrostem proporcji od 0,5. Rozumiem, dlaczego tak jest, gdy patrzę na równanie błędu standardowego proporcji, ale nie mogę tego dalej wyjaśniać. Czy istnieje wyjaśnienie poza matematycznymi właściwościami formuły? Jeśli tak, …

10 standard-error proportion intuition

1

Intuicyjne wyjaśnienie utraty logów

W kilku konkurencjach kaggle punktacja opierała się na „loglossie”. Dotyczy to błędu klasyfikacji. Oto odpowiedź techniczna, ale szukam intuicyjnej odpowiedzi. Naprawdę podobały mi się odpowiedzi na to pytanie dotyczące odległości Mahalanobisa, ale PCA to nie logloss. Mogę wykorzystać wartość, którą przedstawia moje oprogramowanie klasyfikacyjne, ale tak naprawdę jej nie rozumiem. …

10 interpretation intuition loss-functions

3

Twierdzenie o granicy centralnej i rozkład Pareto

Czy ktoś może przedstawić proste (świeckie) wyjaśnienie związku między rozkładami Pareto a centralnym twierdzeniem granicznym (np. Czy ma zastosowanie? Dlaczego / dlaczego nie?)? Próbuję zrozumieć następujące oświadczenie: „Twierdzenie o granicy centralnej nie działa z każdym rozkładem. Wynika to z jednego podstępnego faktu - średnie próbki są skupione wokół średniej rozkładu …

10 variance central-limit-theorem intuition pareto-distribution fat-tails

Pytania otagowane jako intuition