Statystyki i duże zbiory danych

3

Czy wartość p jest wartością szacunkową?

Ponieważ można obliczyć przedziały ufności dla wartości p, a ponieważ przeciwieństwem oszacowania przedziału jest oszacowanie punktowe: czy wartość p jest oszacowaniem punktowym?

32 confidence-interval estimation p-value estimators point-estimation

2

Regresja logistyczna: zmienne Bernoulliego vs. dwumianowe odpowiedzi

Chcę przeprowadzić regresję logistyczną z następującą odpowiedzią dwumianową oraz z i jako moimi predyktorami. X1X1X_1X2X2X_2 Mogę przedstawić te same dane, co odpowiedzi Bernoulliego w następującym formacie. Wyniki regresji logistycznej dla tych 2 zestawów danych są w większości takie same. Wartości odchylenia i AIC są różne. (Różnica między dewiacją zerową a …

32 logistic binomial aic bernoulli-distribution deviance

5

Dlaczego są dwa rodzaje „heteroskedastyczny” lub „heteroscedastyczny”?

Często widzę zarówno pisownię „heteroskedastyczną”, jak i „heteroscedastyczną”, podobnie jak „homoscedastyczną” i „homoskedastyczną”. Wydaje się, że nie ma różnicy w znaczeniu między wariantami „c” i „k”, po prostu różnica ortograficzna związana z grecką etymologią tego słowa. Jakie są początki dwóch różnych pisowni? Czy jedno użycie jest bardziej powszechne i czy …

32 terminology heteroscedasticity etymology

7

Dlaczego przecinek jest złym separatorem / separatorem rekordów w plikach CSV?

Czytałem to artykuł i jestem ciekawy właściwej odpowiedzi na to pytanie. Jedyne, co przychodzi mi do głowy, to być może, że w niektórych krajach separatorem dziesiętnym jest przecinek i mogą być problemy z udostępnianiem danych w CSV , ale tak naprawdę nie jestem pewien mojej odpowiedzi.

32 project-management

3

Dlaczego inwersja macierzy kowariancji daje częściowe korelacje między zmiennymi losowymi?

Słyszałem, że częściowe korelacje między zmiennymi losowymi można znaleźć, odwracając macierz kowariancji i pobierając odpowiednie komórki z takiej wynikowej macierzy precyzji (fakt ten jest wspomniany w http://en.wikipedia.org/wiki/Partial_correlation , ale bez dowodu) . Dlaczego tak jest?

32 covariance covariance-matrix linear-algebra partial-correlation matrix-inverse

3

Czy można zmienić hipotezę, aby dopasować obserwowane dane (inaczej wyprawa na ryby) i uniknąć wzrostu liczby błędów typu I?

Dobrze wiadomo, że badacze powinni poświęcić czas na obserwowanie i badanie istniejących danych i badań przed sformułowaniem hipotezy, a następnie zebraniem danych w celu przetestowania tej hipotezy (odnosząc się do testowania istotności zerowej hipotezy). Wiele podstawowych książek statystycznych ostrzega, że hipotezy muszą zostać sformułowane a priori i nie można ich …

32 hypothesis-testing

1

Wykrywanie anomalii linków w sieci czasowej

Natknąłem się na ten artykuł, który wykorzystuje wykrywanie anomalii linków do przewidywania trendów, i uważam, że jest to niezwykle intrygujące: artykuł „Odkrywanie pojawiających się tematów w strumieniach społecznościowych poprzez wykrywanie anomalii linków” . Chciałbym powielić go na innym zestawie danych, ale nie znam wystarczająco metod, aby wiedzieć, jak z nich …

32 time-series machine-learning outliers python change-point

1

Porównanie dwóch modeli za pomocą funkcji anova () w języku R

Z dokumentacji dla anova(): Po podaniu sekwencji obiektów „anova” testuje modele względem siebie w podanej kolejności ... Co to znaczy testować modele ze sobą? A dlaczego kolejność ma znaczenie? Oto przykład z samouczka GenABEL : > modelAdd = lm(qt~as.numeric(snp1)) > modelDom = lm(qt~I(as.numeric(snp1)>=2)) > modelRec = lm(qt~I(as.numeric(snp1)>=3)) anova(modelAdd, modelGen, test="Chisq") …

32 r anova

3

Regresja logistyczna jądra a SVM

Jak wiadomo wszystkim, SVM może używać metody jądra do rzutowania punktów danych w wyższych przestrzeniach, aby punkty można było oddzielić przestrzenią liniową. Ale możemy również użyć regresji logistycznej, aby wybrać tę granicę w przestrzeni jądra, więc jakie są zalety SVM? Skoro SVM używa rzadkiego modelu, w którym tylko te wektory …

32 svm

3

Czy można znaleźć połączone odchylenie standardowe?

Załóżmy, że mam 2 zestawy: Zestaw A : liczba pozycji , ,n=10n=10n= 10μ=2.4μ=2.4\mu = 2.4σ=0.8σ=0.8\sigma = 0.8 Zestaw B : liczba pozycji , ,n=5n=5n= 5μ=2μ=2\mu = 2σ=1.2σ=1.2\sigma = 1.2 Mogę łatwo znaleźć połączoną średnią ( ), ale jak mam znaleźć połączone odchylenie standardowe?μμ\mu

32 standard-deviation

3

Zestawy danych zbudowane w celu podobnym do kwartetu Anscombe

Właśnie natknąłem się na kwartet Anscombe (cztery zestawy danych, które mają prawie nie do odróżnienia statystyki opisowe, ale wyglądają zupełnie inaczej po wydrukowaniu) i jestem ciekawy, czy istnieją inne mniej lub bardziej znane zestawy danych, które zostały stworzone, aby pokazać znaczenie niektórych aspektów analiz statystycznych.

32 regression data-visualization dataset

5

Wytyczne AIC w wyborze modelu

Zazwyczaj używam BIC, ponieważ rozumiem, że bardziej ceni parsimony niż AIC. Jednak zdecydowałem się teraz zastosować bardziej kompleksowe podejście i chciałbym również użyć AIC. Wiem, że Raftery (1995) przedstawił dobre wytyczne dla różnic BIC: 0-2 jest słaby, 2-4 jest pozytywnym dowodem na lepszy model jednego itd. Zajrzałem do podręczników i …

32 r model-selection references aic bic

4

Implementacja CRF w Pythonie

Czy istnieje popularna implementacja warunkowych pól losowych w Pythonie ? Nie mogę znaleźć żadnego, który jest powszechnie używany i popularny!

32 machine-learning classification python conditional-random-field

5

Dlaczego w sondażach politycznych są tak duże próby?

Kiedy oglądam wiadomości, zauważyłem, że sondaże Gallupa dotyczące takich rzeczy, jak wybory prezydenckie, mają [zakładam losowe] próbki o wielkości znacznie przekraczającej 1000. Ze statystyk uczelni wyższych pamiętam, że próbka o wielkości 30 była próbką „znacznie większą”. Wydawało się, że wielkość próby powyżej 30 jest bezcelowa ze względu na malejące zwroty.

32 sampling sample-size power-analysis

1

Dlaczego R miałby zwracać NA jako współczynnik lm ()?

Dopasowuję lm()model do zestawu danych, który zawiera wskaźniki dla kwartału finansowego (I kw., II kw., III kw., Domyślnie ustawiam Q4). Za pomocą lm(Y~., data = data) otrzymuję NAjako współczynnik dla Q3 i ostrzeżenie, że jedna zmienna została wykluczona z powodu osobliwości. Czy muszę dodać kolumnę Q4?

32 r regression