Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Czy powinienem zgłaszać nieistotne wyniki?
Przeprowadziłem test Kruskala Wallisa i dla niektórych pytań wartość p nie jest znacząca. Czy zgłosiłbym to w ten sam sposób, jakby był znaczący, podając wartość df, statystykę testową i wartość p? Byłoby więc coś takiego: przeprowadzono test Kruskala Wallisa, ale stwierdzono, że wyniki nie są znaczące H (3) = 2,119, …
2
Średnia geometryczna jest obiektywnym estymatorem średniej, którego ciągłego rozkładu?
Czy istnieje ciągły rozkład, który można wyrazić w formie zamkniętej, którego średnia jest taka, że ​​średnia geometryczna próbek jest obiektywnym estymatorem tej średniej? Aktualizacja: Właśnie zdałem sobie sprawę, że moje próbki muszą być dodatnie (w przeciwnym razie średnia geometryczna może nie istnieć), więc może ciągłe nie jest właściwym słowem. Co …
1
Jak interpretować wyniki, gdy zarówno grzbiet, jak i lasso oddzielnie działają dobrze, ale dają różne współczynniki
Korzystam z modelu regresji zarówno z Lasso, jak i Ridge'em (aby przewidzieć dyskretną zmienną wyniku w zakresie od 0-5). Przed uruchomieniem modelu używam SelectKBestmetody scikit-learnzmniejszenia zestawu funkcji z 250 do 25 . Bez wstępnego wyboru funkcji, zarówno Lasso, jak i Ridge dają niższe wyniki dokładności [co może wynikać z małej …
2
Czytanie wykresów pudełkowych i wąsów: czy można uzyskać istotne różnice między grupami?
Załóżmy, że patrzymy na tę fabułę pudeł i wąsów: Myślę, że między czwartkiem a piątkiem większość zgodziłaby się, że wydaje się, że istnieje znaczna różnica w czasie snu. Czy to jednak statystycznie uzasadnione przypuszczenie? Czy potrafimy dostrzec znaczące różnice z uwagi na fakt, że żaden z zakresów kwartylu wewnętrznego nie …
2
Reprezentacja ARMA w przestrzeni stanu (p, q) z Hamiltona
r=max(p,q+1)r=max(p,q+1)r = \max(p,q+1)yt−μ=ϕ1(yt−1−μ)+ϕ2(yt−2−μ)+...+ϕ3(yt−3−μ)+ϵt+θ1ϵt−1+...+θr−1ϵt−r+1.yt−μ=ϕ1(yt−1−μ)+ϕ2(yt−2−μ)+...+ϕ3(yt−3−μ)+ϵt+θ1ϵt−1+...+θr−1ϵt−r+1. \begin{aligned} y_t -\mu &= \phi_1(y_{t-1} -\mu) + \phi_2(y_{t-2} -\mu) + ... + \phi_3(y_{t-3} -\mu) \\ &+ \epsilon_t + \theta_1\epsilon_{t-1} + ... + \theta_{r-1}\epsilon_{t-r+1}. \end{aligned} ξt+1=⎡⎣⎢⎢⎢⎢ϕ11⋮0ϕ20⋮0…………ϕr−1001ϕr000⎤⎦⎥⎥⎥⎥ξt+⎡⎣⎢⎢⎢⎢ϵt+10⋮0⎤⎦⎥⎥⎥⎥ξt+1=[ϕ1ϕ2…ϕr−1ϕr10…00⋮⋮…0000…10]ξt+[ϵt+10⋮0] \xi_{t+1} = \begin{bmatrix} \phi_1 & \phi_2 & \dots & \phi_{r-1} & \phi_r \\ 1 & 0 & \dots & 0 & 0 …
2
Jeśli skurcz jest zastosowany w sprytny sposób, czy zawsze działa lepiej dla bardziej wydajnych estymatorów?
Załóżmy, że mam dwa estymatory i które są spójnymi estymatorami tego samego parametru i takie, że z w sensie psd. Zatem asymptotycznie \ widehat {\ beta} _1 jest bardziej wydajny niż \ widehat {\ beta} _2 . Te dwa estymatory oparte są na różnych funkcjach strat.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), …
1
Granice uogólnienia na SVM
Interesują mnie teoretyczne wyniki zdolności uogólniających maszyn wektorów podporowych, np. Granice prawdopodobieństwa błędu klasyfikacji i wymiaru Vapnika-Chervonenkisa (VC) tych maszyn. Jednak czytając literaturę, miałem wrażenie, że niektóre podobne powtarzające się wyniki różnią się nieznacznie w zależności od autora, szczególnie jeśli chodzi o warunki techniczne wymagane dla danego obowiązku. W dalszej …
2
Jeśli nie możesz tego zrobić ortogonalnie, zrób to na surowo (regresja wielomianowa)
Podczas przeprowadzania regresji wielomianowej dla na ludzie czasami używają surowych wielomianów, czasem ortogonalnych wielomianów. Ale kiedy używają tego, co wydaje się całkowicie arbitralne.XYYYXXX Tu i tutaj używane są surowe wielomiany. Ale tu i tutaj wydaje się, że ortogonalne wielomiany dają prawidłowe wyniki. Co, jak, dlaczego ?! W przeciwieństwie do tego, …
2
Nadzorowane uczenie się z niepewnymi danymi?
Czy istnieje istniejąca metodologia stosowania nadzorowanego modelu uczenia się do niepewnego zestawu danych? Załóżmy na przykład, że mamy zestaw danych z klasami A i B: +----------+----------+-------+-----------+ | FeatureA | FeatureB | Label | Certainty | +----------+----------+-------+-----------+ | 2 | 3 | A | 50% | | 3 | 1 | …
1
Regresja logistyczna dla danych z rozkładów Poissona
Z niektórych notatek dotyczących uczenia maszynowego mówiących o niektórych dyskryminujących metodach klasyfikacji, w szczególności regresji logistycznej, gdzie y jest etykietą klasy (0 lub 1), a x jest danymi, mówi się, że: jeśli x|y=0∼Poisson(λ0)x|y=0∼Poisson(λ0)x|y = 0 \sim \mathrm{Poisson}(λ_0) , a x|y=1∼Poisson(λ1)x|y=1∼Poisson(λ1)x|y = 1 \sim \mathrm{Poisson}(λ_1) , wówczas p(y|x)p(y|x)p(y|x) będzie logistyczne. Dlaczego …
2
Co dzieje się ze współczynnikiem prawdopodobieństwa, gdy gromadzonych jest coraz więcej danych?
Niech fafaf , solsolg i hhh są gęstości i załóżmy, że masz xja∼ godzxja∼hx_i \sim h , i ∈ Nja∈N.i \in \mathbb{N} . Co dzieje się ze współczynnikiem prawdopodobieństwa ∏i = 1nfa( xja)sol( xja)∏ja=1nfa(xja)sol(xja) \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} jakn → ∞n→∞n \rightarrow \infty? (Czy to się zbiega? Do czego?) Na przykład możemy …
3
Kontrprzykłady, w których mediana jest poza [Mode-Mean]
Ten artykuł jest powyżej mojej ligi, ale mówi o interesującym mnie temacie, związku między środkiem, trybem i medianą. To mówi : Powszechnie uważa się, że mediana rozkładu nieimodalnego jest „zwykle” pomiędzy średnią a modą. Jednak nie zawsze jest to prawdą ... Moje pytanie : czy ktoś może podać przykłady ciągłych …
11 mean  median  mode 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.