Statystyki i duże zbiory danych

Czy ktoś może zilustrować, tak jak Greg, ale bardziej szczegółowo, w jaki sposób zmienne losowe mogą być zależne, ale mają zerową kowariancję? Greg, plakat tutaj, podaje przykład używając koła tutaj . Czy ktoś może wyjaśnić ten proces bardziej szczegółowo, stosując sekwencję kroków ilustrujących ten proces na kilku etapach? Ponadto, jeśli …

12 random-variable  covariance  independence 

Korzystam z następującego testu root root (Dickey-Fuller) na szeregu czasowym, używając ur.df()funkcji w urcapakiecie. Polecenie to: summary(ur.df(d.Aus, type = "drift", 6)) Dane wyjściowe to: ############################################### # Augmented Dickey-Fuller Test Unit Root Test # ############################################### Test regression drift Call: lm(formula = z.diff ~ z.lag.1 + 1 + z.diff.lag) Residuals: Min 1Q …

12 r  time-series  hypothesis-testing  unit-root 

Myślałem, że kanoniczna funkcja połączenia pochodzi z naturalnego parametru rodziny wykładniczej. Powiedzmy, rozważ rodzinę f ( y , θ , ψ ) = exp { y θ - b ( θ )g(⋅)g(⋅)g(\cdot) a następnieθ=θ(μ)jest kanoniczną funkcją łącza. Weźmyjako przykładrozkład Bernoulliego, mamy P(Y=y)=μy(1-μ)1-y=exp{ylogμf(y,θ,ψ)=exp{yθ−b(θ)a(ψ)−c(y,ψ)}f(y,θ,ψ)=exp⁡{yθ−b(θ)a(ψ)−c(y,ψ)} f(y,\theta,\psi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\psi)}-c(y,\psi)\right\} θ=θ(μ)θ=θ(μ)\theta=\theta(\mu) Tak więc kanoniczna funkcja łączag(μ)=logμP(Y=y)=μy(1−μ)1−y=exp{ylogμ1−μ+log(1−μ)}P(Y=y)=μy(1−μ)1−y=exp⁡{ylog⁡μ1−μ+log⁡(1−μ)} P(Y=y)=\mu^{y}(1-\mu)^{1-y}=\exp\left\{y\log\frac{\mu}{1-\mu}+\log{(1-\mu)}\right\} …

12 generalized-linear-model  link-function 

Obecnie używam następującego procesu do ładowania wielowymiarowego szeregu czasowego w R: Określ rozmiary bloków - uruchom funkcję b.starw nppakiecie, która tworzy rozmiar bloku dla każdej serii Wybierz maksymalny rozmiar bloku Uruchom tsbootw dowolnej serii, używając wybranego rozmiaru bloku Użyj indeksu z danych wyjściowych bootstrap, aby zrekonstruować wielowymiarowe szeregi czasowe Ktoś …

12 r  time-series  multivariate-analysis  bootstrap 

Jak zdefiniować rozkład zmiennej losowej tak, że losowanie z Y ma korelację ρ z x 1 , gdzie x 1 jest pojedynczym losowaniem z rozkładu z funkcją rozkładu skumulowanego F X ( x ) ? YYYYYYρρ\rhox1x1x_1x1x1x_1FX(x)FX(x)F_{X}(x)

12 distributions  probability  correlation  random-variable  conditional-probability 

Stack Exchange, jak wszyscy wiemy, to zbiór stron z pytaniami i odpowiedziami na różne tematy. Zakładając, że każda strona jest od siebie niezależna, biorąc pod uwagę statystyki użytkownika, jak obliczyć jego „zaokrąglenie” w porównaniu do następnego faceta? Jakie narzędzie statystyczne powinienem zastosować? Szczerze mówiąc, nie do końca wiem, jak matematycznie …

12 ranking  diversity 

Wiem, że błąd typu II polega na tym, że H1 jest prawdą, ale H0 nie jest odrzucany. Pytanie Jak obliczyć prawdopodobieństwo błędu typu II z rozkładem normalnym, gdy znane jest odchylenie standardowe?

12 probability  power-analysis  type-i-and-ii-errors 

Jako tytuł muszę narysować coś takiego: Czy ggplot lub inne pakiety, jeśli ggplot nie jest zdolny, mogą zostać użyte do narysowania czegoś takiego?

12 r  data-visualization  ggplot2  funnel-plot 

Jakie algorytmy są stosowane w nowoczesnych generatorach liczb losowych dobrej jakości?

12 algorithms  random-variable  random-generation 

Ostatnio robiłem dużo badań na temat nauki o wzmocnieniu. Śledziłem Reinforcement Learning Sutton & Barto : Wprowadzenie do większości tego. Wiem, czym są procesy decyzyjne Markowa i jak do ich rozwiązania można wykorzystać uczenie się w zakresie programowania dynamicznego (DP), Monte Carlo i różnic czasowych (DP). Problem mam jest to, …

12 monte-carlo  reinforcement-learning  temporal-difference 

Pytanie zostało zadane tutaj, ale nikt nie udzielił dobrej odpowiedzi. Myślę więc, że dobrym pomysłem jest powtórzenie tego, a także chciałbym dodać więcej komentarzy / pytań. Pierwsze pytanie brzmi: jaka jest różnica między „modelowaniem ścieżki PLS” a „regresją PLS”? Mówiąc bardziej ogólnie, czym jest modelowanie równań strukturalnych (SEM), modelowanie ścieżek …

12 sem  partial-least-squares  path-model 

Nie sądzę, aby istniała jedna odpowiedź na wszystkie modele głębokiego uczenia się. Które z modeli głębokiego uczenia są parametryczne, a które nieparametryczne i dlaczego?

12 neural-networks  deep-learning  nonparametric  parametric 

Czytam rozdział 13 „Przygody w kowariancji” w ( znakomitej ) książce „ Rethinking statystyczny” Richarda McElreath, w której przedstawia on następujący model hierarchiczny: ( Rjest macierzą korelacji) Autor wyjaśnia, że LKJcorrjest to słabo pouczający uprzedni, który działa jako uprzedni regularyzujący dla matrycy korelacji. Ale dlaczego tak jest? Jakie cechy LKJcorrrozkładu …

12 regression  self-study  correlation  prior  hierarchical-bayesian 

Dlaczego wartości p i statystyki testu ks zmniejszają się wraz ze wzrostem wielkości próby? Weź ten kod Python jako przykład: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) print ks_2samp(x, y) …

12 python  p-value  goodness-of-fit  intuition  scipy 

Podczas gdy ja studiuję oszacowanie maksymalnego prawdopodobieństwa, aby wnioskować w oszacowaniu maksymalnego prawdopodobieństwa, musimy znać wariancję. Aby dowiedzieć się o wariancji, muszę poznać Dolną Granicę Kramera, która wygląda jak matryca Hesji z Drugim Pochyleniem krzywizny. Jestem trochę pomieszany, aby zdefiniować związek między macierzą kowariancji a macierzą hessian. Mam nadzieję usłyszeć …

12 machine-learning  mathematical-statistics  maximum-likelihood  data-mining