Statystyki i duże zbiory danych

1

Pytanie jest po prostu zawarte w tytule: Kiedy zawodzi prawo wielkich liczb? Mam na myśli to, w jakich przypadkach częstotliwość zdarzenia nie będzie miała tendencji do teoretycznego prawdopodobieństwa?

13 probability mathematical-statistics law-of-large-numbers

3

Jakie są dobre, ogólnodostępne czasopisma do śledzenia najnowszych osiągnięć w uczeniu maszynowym?

Zapraszam do zastępowania „czasopism” innym użytecznym portalem wiedzy. Jestem zainteresowany obserwowaniem nowych osiągnięć w uczeniu maszynowym, z myślą o praktycznych zastosowaniach. Nie jestem naukowcem, który chce publikować własne prace (przynajmniej nie w tej dziedzinie), ale chcę mieć świadomość potencjalnych nowych algorytmów lub sztuczek, które byłyby przydatne na poziomie praktycznym. Jedynym …

13 machine-learning references

2

Regresja liniowa, gdy znasz tylko

Załóżmy, że .Xβ=YXβ=YX\beta =Y Nie wiemy dokładnie, tylko jego korelację z każdego czynnika prognostycznego, .YYYXtYXtYX^\mathrm{t}Y Zwykłym rozwiązaniem najmniejszych kwadratów (OLS) jest i nie ma problemu.β=(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y Załóżmy jednak, że jest bliskie liczbie pojedynczej (wielokoliniowość) i musisz oszacować optymalny parametr grzbietu. Wszystkie metody wydaje się potrzeba dokładnych wartości .XtXXtXX^\mathrm{t}XYYY Czy …

13 regression multicollinearity

6

Losowy las: jak obsługiwać nowe poziomy czynników w zestawie testowym?

Próbuję przewidzieć przy użyciu losowego modelu lasu w R. Jednak dostaję błędy, ponieważ niektóre czynniki mają inne wartości w zestawie testowym niż w zestawie treningowym. Na przykład czynnik Cat_2ma wartości 34, 68, 76itp. W zestawie testowym, które nie pojawiają się w zestawie szkoleniowym. Niestety nie mam kontroli nad zestawem testowym …

13 r categorical-data random-forest

3

Koncepcyjne zrozumienie średniego błędu kwadratowego i średniego odchylenia odchylenia

Chciałbym uzyskać koncepcyjne zrozumienie Root Mean Squared Error (RMSE) i Mean Bias Deviation (MBD). Po obliczeniu tych miar dla własnych porównań danych często byłem zakłopotany stwierdzeniem, że RMSE jest wysoki (na przykład 100 kg), podczas gdy MBD jest niski (na przykład mniej niż 1%). Mówiąc dokładniej, szukam odniesienia (nie online), …

13 standard-deviation bias

3

Dwuwymiarowy Kołmogorow-Smirnov

Chciałbym przeprowadzić kilka dwuwymiarowych testów Kołmogorowa-Smironowa, aby ustalić, czy rozkład dwuwymiarowy pasuje do odniesienia. Czy jest jakiś pakiet lub aplikacja, z której mógłbym korzystać w stosunkowo prosty sposób? Czy istnieje inny preferowany algorytm? Mam tylko podstawową wiedzę statystyczną.

13 kolmogorov-smirnov

2

Jak przekształcić dane porządkowe z kwestionariusza w odpowiednie dane przedziałowe?

Czy istnieją jakieś proste metody przekształcania danych z poziomu porządkowego na poziom przedziałowy (podobnie jak w przypadku odwrotnej)? I wykonalne w Excelu lub SPSS? Mając dane, powiedzmy: 10 pytań na poziomie porządkowym (powiedzmy skalę 0-5, gdzie 0 = „wcale”, 5 = „cały czas”), chcę je przekształcić, aby można je było …

13 categorical-data ordinal-data scales psychometrics

2

Co to są testy porcji?

W odpowiedzi na pytanie o wybór modelu w obecności Współliniowość , Frank Harrell zaproponował : Umieść wszystkie zmienne w modelu, ale nie testuj wpływu jednej zmiennej skorygowanej o skutki zmiennych konkurujących ... Testy fragmentów zmiennych konkurencyjnych są potężne, ponieważ zmienne współliniowe łączą siły w ogólnym teście asocjacji wielokrotnego stopnia swobody …

13 r model-selection multicollinearity

4

Szybkie alternatywy dla algorytmu EM

Czy istnieją jakieś szybkie alternatywy dla algorytmu EM do uczenia się modeli z ukrytymi zmiennymi (zwłaszcza pLSA)? Nie przeszkadza mi poświęcanie precyzji na rzecz prędkości.

13 machine-learning optimization expectation-maximization lsa

3

Ruby jako stół roboczy statystyk

To pytanie dotyczy również Pythona jako stołu roboczego statystyk i przoduje jako stół roboczy statystyk . Wiem, że istnieje ogromna dyskusja na temat Ruby kontra Python, ale nie o to chodzi w tym pytaniu. Pomyślałem, że Ruby jest szybszy od Pythona i ma bardzo naturalną składnię, co może pomóc mi …

13 r python software ruby

2

Wyniki szacunków Monte Carlo uzyskane na podstawie próbkowania istotności

Przez ostatni rok pracowałem nad dość istotnym pobieraniem próbek i mam kilka otwartych pytań, z którymi miałem nadzieję uzyskać pomoc. Moje praktyczne doświadczenie z ważnymi schematami pobierania próbek było takie, że czasami mogą one generować fantastyczne oszacowania niskiej wariancji i niskiego obciążenia. Częściej jednak mają tendencję do generowania szacunkowych błędów, …

13 monte-carlo information-theory importance-sampling

3

Różnica między testami jednostronnymi a dwustronnymi?

Studiując kurs statystyki, starałem się zrozumieć różnicę między testami hipotez jedno- i dwustronnych. W szczególności dlaczego test jednostronny odrzuca wartość zerową, podczas gdy test dwustronny nie? Przykład:

13 hypothesis-testing

3

Czy istnieje formuła lub reguła określająca prawidłowy sampSize dla randomForest?

Gram z randomForest i odkryłem, że ogólnie zwiększenie sampSize prowadzi do lepszej wydajności. Czy istnieje reguła / formuła / itp., Która sugeruje, jaki powinien być optymalny sampSize, czy też jest to kwestia prób i błędów? Chyba inny sposób sformułowania tego; jakie jest moje ryzyko zbyt małego rozmiaru sampSize lub zbyt …

13 r random-forest

2

Analizuj proporcje

Mam zestaw danych zawierający wiele proporcji, które sumują się do 1. Jestem zainteresowany zmianą tych proporcji wzdłuż gradientu (patrz na przykład dane poniżej). gradient <- 1:99 A1 <- gradient * 0.005 A2 <- gradient * 0.004 A3 <- 1 - (A1 + A2) df <- data.frame(gradient = gradient, A1 = …

13 r multinomial

3

Czy AR (1) jest procesem Markowa?

Czy proces AR (1), taki jak jest procesem Markowa?yt= ρ yt - 1+ εtyt=ρyt−1+εty_t=\rho y_{t-1}+\varepsilon_t Jeśli tak, to VAR (1) jest wektorową wersją procesu Markowa?

13 time-series