Statystyki i duże zbiory danych

6-stronna kostka jest rzutowana iteracyjnie. Jaka jest oczekiwana liczba rzutów wymagana do uzyskania sumy większej lub równej K? Przed edycją P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in exactly 2 rolls)=2/6 P(Sum>=3 in exactly 3 rolls)=1/36 …

9 self-study  mean  expected-value  dice  saddlepoint-approximation 

Odtąd myślałem X, YX,YX, Y są z N.( 0 , 1 )N.(0,1)N(0,1) i są więc niezależni X- 2 YX-2)YX - 2Y ma rozkład N.( 0 , 5 )N.(0,5)N(0, 5). NastępnieX- 2Y> 0X-2)Y>0X-2Y > 0 ma prawdopodobieństwo 1 / 21/2)1/2. Wydaje mi się, że powyższe jest poprawne, choć wydaje się, że …

9 probability  normal-distribution 

Tak więc, dla zabawy, pobieram niektóre dane połączeń z call center, w którym pracuję, i próbuję przetestować na nich kilka hipotez, a konkretnie liczbę połączeń odebranych w ciągu tygodnia, i dopasowuję je rozkładem Poissona. Ze względu na przedmiot mojej pracy istnieją dwa rodzaje tygodni, nazwijmy jeden z nich w tygodniach, …

9 hypothesis-testing  poisson-distribution 

Czasami zakładamy, że regresory są stałe, tzn. Nie są stochastyczne. Myślę , że to oznacza, że ​​wszystkie nasze predyktory, oszacowania parametrów itp. Są zatem bezwarunkowe, prawda? Czy mogę nawet posunąć się tak daleko, że nie są już zmiennymi losowymi? Jeśli z drugiej strony przyjmiemy, że większość regresorów w ekonomii twierdzi, …

9 regression  inference  philosophical  conditioning  ancillary-statistics 

Usiłuję zrozumieć wyniki analizy głównych składników wykonanych w następujący sposób: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 3.9 …

9 r  pca  interpretation 

Wiem, że OLS jest bezstronny, ale nieskuteczny przy heteroscedastyczności w ustawieniu regresji liniowej. W Wikipedii http://en.wikipedia.org/wiki/Minimum_mean_square_error Estymator MMSE jest asymptotycznie obiektywny i zbiega się w rozkładzie do rozkładu normalnego: , gdzie I (x) to informacja Fishera dla x. Zatem estymator MMSE jest asymptotycznie wydajny.n−−√(x^−x)→dN(0,I−1(x))n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right) …

9 least-squares  heteroscedasticity  efficiency 

Przeprowadzam analizę, w której głównym celem jest zrozumienie danych. Zestaw danych jest wystarczająco duży do weryfikacji krzyżowej (10k), a predyktory obejmują zarówno zmienne ciągłe, jak i zmienne, a wynik jest ciągły. Głównym celem było sprawdzenie, czy sensowne jest wyrzucenie niektórych predyktorów, aby ułatwić interpretację modelu. Pytania: Moje pytanie brzmi: „które …

9 lasso  explanatory-models 

Mam chyba głupie pytanie, które muszę przyznać, że jestem zdezorientowany. Wyobraź sobie powtarzające się generowanie równomiernie rozmieszczonej losowej macierzy ortogonalnej (ortonormalnej) o pewnym rozmiarze . Czasami wygenerowana macierz ma wyznacznik a czasem ma wyznacznik . (Istnieją tylko dwie możliwe wartości. Z punktu widzenia rotacji ortogonalnej oznacza, że ​​oprócz rotacji istnieje …

9 mathematical-statistics  matrix  random-generation  rotation  determinant 

Obecnie uczę się hierarchicznych modeli bayesowskich przy użyciu JAGS z R, a także pymc przy użyciu Pythona ( „Bayesian Methods for Hackers” ). Mogę uzyskać intuicję z tego postu : „skończysz ze stosem liczb, które wyglądają” tak, jakby „udało ci się w jakiś sposób pobrać niezależne próbki ze skomplikowanej dystrybucji, …

9 bayesian  mcmc  expectation-maximization 

W komentarzu tutaj @gung napisał: Uważam, że mogą się one nieco nakładać (może ~ 25%) i nadal będą znaczące na poziomie 5%. Pamiętaj, że 95% CI, które widzisz, dotyczy pojedynczej OR, ale test 2 OR dotyczy różnicy między nimi. Jeśli jednak w ogóle się nie pokrywają, to zdecydowanie różnią się …

9 logistic  confidence-interval  odds-ratio  references 

Studiuję model mieszanki Gaussa i sam wymyślam to pytanie. Załóżmy, że podstawowe dane są generowane z mieszaniny rozkładu Gaussa, a każdy z nich ma średni wektor , gdzie a każdy z nich ma takie same współ- macierz wariancji i załóżmy, że jest macierzą diagonalną. Przyjmijmy, że stosunek zmieszania wynosi , …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

Będę uczyć statystyki jako asystent nauczyciela w drugiej połowie tego semestru dla studentów studiów licencjackich zorientowanych na CS. Większość uczniów, którzy wzięli udział w zajęciach, nie ma motywacji, aby uczyć się tego przedmiotu i wzięła go tylko z powodu głównych wymagań. Chcę, aby przedmiot był interesujący i użyteczny, a nie …

9 hypothesis-testing  confidence-interval  teaching 

Próbuję przewidzieć wynik równowagi i wypróbowałem kilka różnych metod regresji. Zauważyłem jedną rzecz, że przewidywane wartości wydają się mieć pewien górny limit. To znaczy, faktyczny bilans wynosi , ale moje przewidywania sięgają około . Poniższy wykres pokazuje rzeczywistą vs przewidywaną równowagę (przewidywaną za pomocą regresji liniowej):[ 0,0 , 1,0 )[0,0,1.0)[0.0, …

9 regression  distributions  data-transformation  prediction  bounds 

Oto problem, który pojawił się podczas egzaminu semestralnego na naszej uczelni kilka lat temu, z którym staram się rozwiązać. Jeśli są niezależnymi zmiennymi losowymi o gęstości odpowiednio gęstości i to pokaż, że następuje po .X1,X2X1,X2X_1,X_2ββ\betaβ(n1,n2)β(n1,n2)\beta(n_1,n_2)β(n1+12,n2)β(n1+12,n2)\beta(n_1+\dfrac{1}{2},n_2)X1X2−−−−−√X1X2\sqrt{X_1X_2}β(2n1,2n2)β(2n1,2n2)\beta(2n_1,2n_2) Użyłem metody jakobianu, aby uzyskać, że gęstość jest następująca: Y=X1X2−−−−−√Y=X1X2Y=\sqrt{X_1X_2}fY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫1y1x2(1−x2)n2−1(1−y2x2)n2−1dxfY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫y11x2(1−x2)n2−1(1−y2x2)n2−1dxf_Y(y)=\dfrac{4y^{2n_1}}{B(n_1,n_2)B(n_1+\dfrac{1}{2},n_2)}\int_y^1\dfrac{1}{x^2}(1-x^2)^{n_2-1}(1-\dfrac{y^2}{x^2})^{n_2-1}dx Właściwie w tym momencie jestem …

9 self-study  random-variable  beta-distribution  distributions  jacobian 

Utrata L2, wraz z utratą L0 i L1, są trzema bardzo częstymi „domyślnymi” funkcjami strat stosowanymi przy sumowaniu a posteriori za pomocą minimalnej oczekiwanej straty a posteriori. Jednym z powodów może być to, że są one stosunkowo łatwe do obliczenia (przynajmniej dla rozkładów 1d), L0 daje wynik w trybie, L1 …

9 bayes  teaching  decision-theory  loss-functions