Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Czy odrzucenie hipotezy przy użyciu wartości p jest równoważne hipotezie nienależącej do przedziału ufności?
Podczas formalnego wyprowadzania przedziału ufności oszacowania, otrzymałem formułę, która bardzo przypomina sposób obliczania wartości .ppp Zatem pytanie: czy są one formalnie równoważne? Tj. Odrzuca hipotezy o wartości krytycznej α równoważnej 0 nie należącej do przedziału ufności o wartości krytycznej α ?H.0= 0H0=0H_0 = 0αα\alpha000αα\alpha
3
Jakiego rodzaju informacjami są informacje Fishera?
Załóżmy, że mamy losową zmienną . Jeśli jest parametrem prawdziwym, funkcja prawdopodobieństwa powinna być zmaksymalizowana, a pochodna równa zero. Jest to podstawowa zasada leżąca u podstaw estymatora maksymalnego prawdopodobieństwa.X∼ f( x | θ )X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Jak rozumiem, informacje Fishera są zdefiniowane jako ja( θ ) = E [ ( …
10
Regresja do średniej vs błąd gracza
Z jednej strony mam regres do średniej, az drugiej strony błędność hazardzisty . Błąd Hazarda jest zdefiniowany przez Millera i Sanjurjo (2019) jako „błędne przekonanie, że losowe sekwencje mają systematyczną tendencję do odwracania, tj. Że smugi podobnych wyników są bardziej prawdopodobne, że zakończą się niż będą kontynuowane”. Na przykład moneta, …
2
Rozkłady gamma a logarytmiczne
Mam obserwowany eksperymentalnie rozkład, który wygląda bardzo podobnie do rozkładu gamma lub logarytmicznego. Czytałem, że rozkład logarytmiczny jest maksymalnym rozkładem prawdopodobieństwa entropii dla wariantu losowego dla którego ustalona jest średnia i wariancja . Czy rozkład gamma ma podobne właściwości?XXXln(X)ln⁡(X)\ln(X)
1
Jak obliczane są standardowe błędy dla dopasowanych wartości z regresji logistycznej?
Kiedy przewidujesz dopasowaną wartość z modelu regresji logistycznej, w jaki sposób obliczane są standardowe błędy? Mam na myśli dopasowane wartości , a nie współczynniki (które obejmują matrycę informacji Fishera). Dowiedziałem się tylko, jak uzyskać liczby R(np. Tutaj na r-help lub tutaj na Stack Overflow), ale nie mogę znaleźć wzoru. pred …
1
Wybór funkcji i model z glmnetem na danych metylacji (p >> N)
Chciałbym użyć GLM i elastycznej sieci, aby wybrać te istotne cechy + zbudować model regresji liniowej (tj. Zarówno przewidywanie, jak i zrozumienie, więc lepiej byłoby pozostawić stosunkowo niewiele parametrów). Wyjście jest ciągłe. To genów na przypadków. Czytałem o pakiecie, ale nie jestem w 100% pewien kroków, które należy wykonać:200002000020000505050glmnet Wykonaj …
3
Różnica między SVM a perceptronem
Jestem trochę zmieszany z różnicą między SVM a perceptronem. Pozwólcie, że spróbuję podsumować moje rozumienie tutaj i proszę o poprawienie tam, gdzie się mylę i uzupełnienie tego, co przegapiłem. Perceptron nie próbuje zoptymalizować „odległości” separacji. Tak długo, jak znajdzie hiperpłaszczyznę oddzielającą dwa zestawy, jest dobra. Z drugiej strony SVM próbuje …
5
Dlaczego mój interwał ładowania jest tak zły?
Chciałem zrobić demonstrację klasową, w której porównuję przedział t z przedziałem ładowania początkowego i obliczę prawdopodobieństwo pokrycia obu. Chciałem, aby dane pochodziły z przekrzywionej dystrybucji, więc postanowiłem wygenerować dane jako exp(rnorm(10, 0, 2)) + 1próbkę o wielkości 10 z przesuniętego logarytmu normalnego. Napisałem skrypt, aby narysować 1000 próbek i dla …
4
Obszar pod krzywą ROC a ogólna dokładność
Trochę się mylę co do pola pod krzywą (AUC) ROC i ogólnej dokładności. Czy AUC będzie proporcjonalne do ogólnej dokładności? Innymi słowy, kiedy będziemy mieli większą ogólną dokładność, czy na pewno uzyskamy większy AUC? Czy są z definicji dodatnio skorelowane? Jeśli są pozytywnie skorelowane, dlaczego zawracamy sobie głowę zgłaszaniem ich …
1
Dowód, że współczynniki w modelu OLS są zgodne z rozkładem t z (nk) stopniami swobody
tło Załóżmy, że mamy model zwykłych najmniejszych kwadratów, w którym mamy współczynniki w naszym modelu regresji, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} gdzie to wektor współczynników , to macierz projektowa zdefiniowana przezββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots …
3
Czy ANOVA może być znacząca, gdy nie występuje żaden z testów t-par?
Czy jest możliwe, aby jednokierunkowa (z N>2N>2N>2 grupami lub „poziomami”) ANOVA zgłosiła znaczącą różnicę, gdy żaden z t-testów N.( N- 1 ) / 2N.(N.-1)/2)N(N-1)/2 nie robi tego? W tej odpowiedzi @whuber napisał: Dobrze wiadomo, że globalny test ANOVA F może wykryć różnicę średnich, nawet w przypadkach, w których żaden indywidualny …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.