Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych


3
Analiza dywergencji Kullbacka-Leiblera
Rozważmy następujące dwa rozkłady prawdopodobieństwa P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Obliczyłem dywergencję Kullbacka-Leiblera, która jest równa Chcę ogólnie wiedzieć, co pokazuje ta liczba? Zasadniczo rozbieżność Kullbacka-Leiblera pokazuje mi, jak daleko jest jeden rozkład prawdopodobieństwa od …

4
Kiedy metody bayesowskie są lepsze od Frequentist?
Naprawdę chcę dowiedzieć się o technikach bayesowskich, więc starałem się trochę nauczyć. Trudno mi jednak dostrzec, kiedy stosowanie technik bayesowskich kiedykolwiek daje przewagę nad metodami Frequentist. Na przykład: Widziałem w literaturze trochę o tym, jak niektórzy wykorzystują pouczające priory, podczas gdy inni używają nieinformacyjnego przeora. Ale jeśli używasz nieinformacyjnego przeora …

1
Warunkowe oczekiwanie na R-kwadrat
Rozważ prosty model liniowy: yy=X′ββ+ϵyy=X′ββ+ϵ\pmb{y}=X'\pmb{\beta}+\epsilon gdzie ϵi∼i.i.d.N(0,σ2)ϵi∼i.i.d.N(0,σ2)\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2) i X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} ,p≥2p≥2p\geq2 aXXX zawiera kolumnę stałych. My pytanie, ponieważ E(X′X)E(X′X)\mathrm{E}(X'X) , ββ\beta i σσ\sigma , ma wzór o nie trywialne górną granicę E(R2)E(R2)\mathrm{E}(R^2) *? (przy założeniu, że model został oszacowany przez OLS). * Przypuszczałem, pisząc to, że coraz E(R2)E(R2)E(R^2) sama w …


5
Dlaczego mój R-kwadrat jest tak niski, skoro moje statystyki t są tak duże?
Przeprowadziłem regresję z 4 zmiennymi i wszystkie są bardzo istotne statystycznie, z wartościami T ≈7,9,26≈7,9,26\approx 7,9,26 i 313131 (mówię ≈≈\approx ponieważ uwzględnienie ułamków dziesiętnych wydaje się nieistotne), które są bardzo wysokie i wyraźnie znaczące. Ale wtedy R2R2R^2 jest tylko 0,2284. Czy źle interpretuję tutaj wartości t, aby oznaczać coś, czym …

1
Konstrukcja dystrybucji Dirichleta z dystrybucją Gamma
Niech X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1} będą wzajemnie niezależnymi zmiennymi losowymi, z których każda ma rozkład gamma o parametrach αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1 pokazują, że Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k, mają wspólny podział jakoDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) Wspólne pdf (X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})} Następnie, aby znaleźć wspólne pdf(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})nie mogę znaleźć jakobiańskiego tj.J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

2
Wizualizacja podstawy splajnu
Podręczniki zazwyczaj mają ładne przykładowe wykresy podstawy jednolitych splajnów, kiedy wyjaśniają temat. Coś w rodzaju rzędu małych trójkątów dla splajnu liniowego lub rzędu małych garbów dla splajnu sześciennego. To typowy przykład: http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_introcom_a0000000525.htm Zastanawiam się, czy istnieje prosty sposób na wygenerowanie wykresu splajnu przy użyciu standardowych funkcji R (takich jak bs …

1
Standardowe błędy dla wielu współczynników regresji?
Zdaję sobie sprawę, że to bardzo podstawowe pytanie, ale nigdzie nie mogę znaleźć odpowiedzi. Obliczam współczynniki regresji przy użyciu równań normalnych lub rozkładu QR. Jak obliczyć standardowe błędy dla każdego współczynnika? Zwykle myślę, że standardowe błędy są obliczane jako: SEx¯ =σx¯n√SEx¯ =σx¯nSE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}} Co to jest dla każdego …


1
Założenia LASSO
W scenariuszu regresji LASSO, w którym y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , a oszacowania LASSO są podane przez następujący problem optymalizacji minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Czy są jakieś założenia dystrybucyjne dotyczące ϵϵ\epsilon ? W scenariuszu OLS można oczekiwać, że ϵϵ\epsilon są niezależne i zwykle dystrybuowane. Czy …

2
Dlaczego robimy tak duże zamieszanie z wykorzystaniem punktacji Fishera, gdy dopasowujemy GLM?
Zastanawiam się, dlaczego traktujemy dopasowywanie GLMS tak, jakby były jakimś specjalnym problemem optymalizacji. Czy oni są? Wydaje mi się, że są one po prostu maksymalne prawdopodobieństwo i że zanotujemy prawdopodobieństwo, a następnie ... zwiększamy je! Dlaczego więc używamy punktacji Fishera zamiast niezliczonej liczby schematów optymalizacji opracowanych w stosowanej literaturze matematycznej?

1
Jak działa przypadkowy zlew kuchenny?
W ubiegłym roku na targach NIPS 2017 Ali Rahimi i Ben Recht wygrali próbę czasową za swój artykuł „Random Features for Large Scale Kernel Machines”, w którym wprowadzili losowe funkcje, później skodyfikowane jako algorytm losowych zlewów kuchennych. W ramach publikacji artykułu wykazali, że ich model można zaimplementować w 5 liniach …


4
Formuła ACF i PACF
Chcę utworzyć kod do rysowania ACF i PACF na podstawie danych szeregów czasowych. Podobnie jak ten wygenerowany wykres z minitabu (poniżej). Próbowałem przeszukać formułę, ale nadal nie rozumiem jej dobrze. Czy mógłbyś mi powiedzieć formułę i jak jej użyć, proszę? Jaka jest pozioma czerwona linia na wykresie ACF i PACF …

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.