Statystyki i duże zbiory danych inference

2

Dlaczego matryca Fisher Information jest pozytywnie półfinałowa?

Niech . Matrycę informacji Fisher definiuje się jako:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Jak mogę udowodnić, że Matryca Informacyjna Fishera jest dodatnia półfinałowa?

18 inference linear-algebra fisher-information

3

Korzystanie z regularyzacji podczas wnioskowania statystycznego

Wiem o zaletach regularyzacji przy budowaniu modeli predykcyjnych (uprzedzenie vs. wariancja, zapobieganie nadmiernemu dopasowaniu). Zastanawiam się jednak, czy dobrym pomysłem jest również regularyzacja (lasso, kalenica, siatka elastyczna), gdy głównym celem modelu regresji jest wnioskowanie o współczynnikach (sprawdzenie, które predyktory są istotne statystycznie). Chciałbym usłyszeć ludzkie myśli, a także linki do …

18 inference lasso ridge-regression elastic-net selectiveinference

3

Jaka jest różnica między „eksperymentem statystycznym” a „modelem statystycznym”?

Śledzę AW van der Vaarta, statystyki asymptotyczne (1998). Mówi o eksperymentach statystycznych, twierdząc, że różnią się one od modelu statystycznego, ale nie definiuje żadnego z nich. Moje pytanie: Czym jest (1) eksperyment statystyczny, (2) model statystyczny i (3) jaki jest kluczowy składnik, który zawsze odróżnia eksperyment statystyczny od jakiegokolwiek modelu …

17 mathematical-statistics inference experiment-design descriptive-statistics model

3

Czy statystyki opisowe mają wartości p?

Poproszono mnie o znalezienie wartości p dla statystyki opisowej. Jednak rozumiem, że wartości p służą do statystyk testowych. Jeśli się nie mylę, wartość p jest prawdopodobieństwem zaobserwowania wartości tak ekstremalnej jak statystyka testowa, jeśli hipoteza zerowa jest prawdziwa.

17 hypothesis-testing descriptive-statistics inference

3

Czy pliki pdf, pmf i cdf zawierają te same informacje?

Czy pliki pdf, pmf i cdf zawierają te same informacje? Dla mnie pdf podaje całe prawdopodobieństwo do pewnego punktu (w zasadzie do obszaru pod prawdopodobieństwem). Pmf podają prawdopodobieństwo pewnego punktu. CDF podaje prawdopodobieństwo w pewnym punkcie. Więc dla mnie pdf i cdf mają te same informacje, ale pmf nie, ponieważ …

17 probability distributions pdf inference cdf

2

Jakie są „współczynniki liniowych dyskryminatorów” w LDA?

W Rużywam ldafunkcji z biblioteki MASSdo klasyfikacji. Jak rozumiem LDA, wejście xxx otrzyma etykietę yyy , która maksymalizuje p ( y| x)p(y|x)p(y|x) , prawda? Ale kiedy pasuję do modelu, w którym x = ( L a g1 , L a g2 )x=(L.zasol1,L.zasol2))x=(Lag1,Lag2)y= D i r e c t i o …

17 r discriminant-analysis inference

4

Historie wojenne, w których podejmowano złe decyzje na podstawie informacji statystycznych?

Myślę, że to sprawiedliwe, że statystyki są nauką stosowaną, więc kiedy obliczane są średnie i odchylenia standardowe, dzieje się tak dlatego, że ktoś chce podjąć pewne decyzje na podstawie tych liczb. Mam nadzieję, że po części bycia dobrym statystykiem jest w stanie „wyczuć”, kiedy można ufać przykładowym danym i kiedy …

16 references inference descriptive-statistics history fallacy

1

Jakiej metody wielokrotnego porównania użyć w modelu Lmer: lsmeans czy glht?

Analizuję zestaw danych przy użyciu modelu efektów mieszanych z jednym ustalonym efektem (warunkiem) i dwoma efektami losowymi (uczestnik ze względu na projekt i parę wewnątrz przedmiotu). Model ten został wygenerowany z lme4pakietu: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Następnie wykonałem test współczynnika wiarygodności tego modelu względem modelu bez ustalonego efektu (warunku) i mam znaczącą różnicę. …

16 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Czy jesteśmy często odwiedzającymi domniemanymi / nieświadomymi Bayesianami?

W przypadku danego problemu wnioskowania wiemy, że podejście bayesowskie zwykle różni się zarówno pod względem formy, jak i wynika z podejścia fequentystycznego. Częstokroć (zwykle obejmuje mnie) często zwraca uwagę, że ich metody nie wymagają uprzedniego, a zatem są bardziej „oparte na danych” niż „oparte na ocenie”. Oczywiście Bayesian może wskazywać …

15 bayesian inference likelihood likelihood-ratio frequentist

2

Dlaczego rozkład tylny w Wnioskowaniu Bayesowskim jest często trudny do zniesienia?

Mam problem ze zrozumieniem, dlaczego wnioskowanie bayesowskie prowadzi do trudnych problemów. Problem jest często wyjaśniany w następujący sposób: Nie rozumiem, dlaczego ta całka musi być oceniona w pierwszej kolejności: Wydaje mi się, że wynikiem całki jest po prostu stała normalizacyjna (jak podano zestaw danych D). Dlaczego nie można po prostu …

15 bayesian inference

2

Kiedy przestać udoskonalać model?

Przez ostatnie 3 lata studiowałem statystyki z wielu książek, a dzięki tej stronie wiele się nauczyłem. Niemniej jedno fundamentalne pytanie wciąż pozostaje dla mnie bez odpowiedzi. Może mieć bardzo prostą lub bardzo trudną odpowiedź, ale wiem na pewno, że wymaga dogłębnego zrozumienia statystyki. Przy dopasowywaniu modelu do danych, czy to …

15 modeling inference aic

2

Czy rozkłady próbkowania są uzasadnione do wnioskowania?

Niektórzy Bayesianie atakują wnioskowanie częstych stwierdzając, że „nie ma unikalnego rozkładu próbkowania”, ponieważ zależy to od intencji badacza (Kruschke, Aguinis i Joo, 2012, s. 733). Powiedzmy na przykład, że badacz rozpoczyna zbieranie danych, ale jego finansowanie zostało niespodziewanie zmniejszone po 40 uczestnikach. W jaki sposób zdefiniowano by tutaj rozkłady próbkowania …

15 distributions inference frequentist

1

Minimalizowanie stronniczości w modelowaniu objaśniającym, dlaczego? (Galit Shmueli „Wyjaśnić lub przewidzieć”)

To pytanie odnosi się do pracy Galit Shmueli „Wyjaśnić lub przewidzieć” . W szczególności w sekcji 1.5 „Wyjaśnianie i przewidywanie są różne” profesor Shmueli pisze: W modelowaniu objaśniającym nacisk kładziony jest na minimalizowanie stronniczości w celu uzyskania jak najdokładniejszej reprezentacji podstawowej teorii. To mnie intrygowało za każdym razem, gdy czytam …

15 predictive-models inference bias unbiased-estimator explanatory-models

5

Co to znaczy, że regresja liniowa jest statystycznie istotna, ale ma bardzo niskie r kwadrat do kwadratu?

Rozumiem, że oznacza to, że model źle prognozuje poszczególne punkty danych, ale ustanowił silny trend (np. Y rośnie, gdy x rośnie).

14 regression inference r-squared linear

4

Wnioskowanie dla sceptycznego (ale nie niechętnego matematyce) czytelnika

Właśnie obejrzałem wykład na temat wnioskowania statystycznego („porównywanie proporcji i środków”), będący częścią wstępu do kursu online dotyczącego statystyk. Materiał miał dla mnie jak najmniej sensu, jak zawsze (do tej pory musiałem to widzieć dziesiątki razy, rozłożone w ciągu ostatnich trzech dekad). Szukam książki o „podstawowych statystykach-101” (ocena punktowa, ocena …

14 references inference point-estimation

Pytania otagowane jako inference