Statystyki i duże zbiory danych

Załóżmy że będzie oznaczony jako z nieznanym μ ∈ R i σ 2 > 0X1,X2,...,XnX1,X2,...,XnX_1, X_2,...,X_nN(μ,σ2)N(μ,σ2)N(\mu,\sigma^2)μ∈Rμ∈R\mu \in \mathcal Rσ2>0σ2>0\sigma^2>0 Niech Z=X1−X¯S,Z=X1−X¯S,Z=\frac{X_1-\bar{X}}{S},S jest tutaj odchyleniem standardowym. Można wykazać, że ZZZ ma pdf Lebesgue f(z)=n−−√Γ(n−12)π−−√(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n√)(|Z|)f(z)=nΓ(n−12)π(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n)(|Z|)f(z)=\frac{\sqrt{n} \Gamma\left(\frac{n-1}{2}\right)}{\sqrt{\pi}(n-1)\Gamma\left(\frac{n-2}{2}\right)}\left[1-\frac{nz^2}{(n-1)^2}\right]^{n/2-2}I_{(0,(n-1)/\sqrt{n})}(|Z|) Moje pytanie brzmi: jak zdobyć ten plik pdf? Pytanie znajduje się tutaj w przykładzie 3.3.4, aby …

15 self-study  umvue 

TŁO: Pomiń bezpiecznie - jest tutaj w celach informacyjnych i uzasadnia pytanie. Otwarcie tego artykułu brzmi: „Słynny test przygodności chi-kwadrat Karla Pearsona pochodzi z innej statystyki, zwanej statystyką z, opartej na rozkładzie normalnym. Najprostsze wersje mogą być matematycznie identyczne z równoważnymi testami z. Testy dają taki sam wynik we wszystkich …

15 chi-squared  proportion  z-test 

Weź 5 brył platońskich z zestawu kości Lochów i Smoków. Składają się one z kostek 4-stronnych, 6-stronnych (konwencjonalnych), 8-stronnych, 12-stronnych i 20-stronnych. Wszystkie zaczynają się od cyfry 1 i liczą w górę o 1 do ich sumy. Rzuć je wszystkie naraz, weź ich sumę (minimalna suma to 5, maksimum to …

15 distributions  dice 

Zastanawiam się nad użyciem wersji LSTM ( długoterminowej pamięci krótkotrwałej ) rekurencyjnej sieci neuronowej (RNN) do modelowania danych szeregów czasowych. Wraz ze wzrostem długości sekwencji danych wzrasta złożoność sieci. Jestem zatem ciekawy, jaką długość sekwencji można by modelować z dobrą dokładnością? Chciałbym zastosować stosunkowo prostą wersję LSTM bez żadnych trudnych …

15 neural-networks  deep-learning  lstm 

Mam sprawdzony przykład (w R), który próbuję zrozumieć dalej. Używam Limmy do stworzenia modelu liniowego i staram się zrozumieć, co dzieje się krok po kroku w obliczeniach zmiany zagięcia. Głównie próbuję dowiedzieć się, co się dzieje, aby obliczyć współczynniki. Z tego, co mogę zrozumieć, rozkład QR jest używany do uzyskania …

15 r  regression  linear-model 

Zbudowałem kilka sieci neuronowych (MLP (w pełni połączony), Elman (cykliczny)) do różnych zadań, takich jak gra w Pong, klasyfikowanie odręcznych cyfr i tym podobne ... Dodatkowo próbowałem zbudować pierwsze sieci neuronowe splotowe, np. Do klasyfikowania wielocyfrowych notatek odręcznych, ale jestem całkowicie nowy w analizowaniu i grupowaniu tekstów, np. W zadaniach …

15 clustering  neural-networks  feature-selection  text-mining  self-organizing-maps 

Myślę, że dobrym sposobem na zapamiętanie formuły jest pomyślenie o formule w ten sposób: Prawdopodobieństwo, że pewne zdarzenie A ma określony wynik, biorąc pod uwagę wynik niezależnego zdarzenia B = prawdopodobieństwo, że oba wyniki wystąpią jednocześnie / cokolwiek byśmy powiedzieli, prawdopodobieństwo pożądanego wyniku zdarzenia A byłoby, gdybyśmy nie znali wyniku …

15 bayesian  bayes 

W przypadku modelu liniowego rozwiązanie OLS zapewnia najlepszy liniowy obiektywny estymator parametrów. Oczywiście możemy wymieniać nastawienie na niższe wariancje, np. Regresję grzbietu. Ale moje pytanie dotyczy braku uprzedzeń. Czy istnieją inne powszechnie stosowane estymatory, które są obiektywne, ale mają większą wariancję niż parametry szacowane OLS? Gdybym miał ogromny zestaw danych, …

15 regression  least-squares  linear  unbiased-estimator  blue 

Zdaję sobie sprawę z rodzaju regularyzacji typu LASSO, grzbietu i siatki elastycznej w modelach regresji liniowej. Pytanie: Czy ten (lub podobny) rodzaj oszacowania podlegającego sankcji można zastosować do modelowania ARIMA (z niepustą częścią MA)? Przy budowaniu modeli ARIMA wydaje się, że zwykle bierze się pod uwagę wstępnie wybraną kolejność maksymalnego …

15 time-series  arima  lasso  regularization  ridge-regression 

Recenzent poprosił nas o podanie wartości p, aby lepiej zrozumieć szacunki modelu w naszym bayesowskim modelu wielopoziomowym. Model jest typowym modelem wielu obserwacji na uczestnika eksperymentu. Oszacowaliśmy model ze Stanem, dzięki czemu możemy łatwo obliczyć dodatkowe statystyki z tyłu. Obecnie raportujemy (wizualnie i w tabelach) średnią wartość szacunkową oraz kwantyle …

15 bayesian  p-value  multilevel-analysis 

Jestem zdezorientowany co do założenia normalności w ANOVA z powtarzanymi pomiarami. W szczególności zastanawiam się, jaki rodzaj normalności powinien być dokładnie spełniony. Czytając literaturę i odpowiedzi na CV, natrafiłem na trzy różne sformułowania tego założenia. Zmienna zależna w ramach każdego (powtarzanego) warunku powinna być rozłożona normalnie. Często mówi się, że …

15 anova  repeated-measures  assumptions  normality-assumption 

Próbuję zrozumieć kompromis wariancji odchylenia, związek między odchyleniem estymatora a odchyleniem modelu oraz związek między wariancją estymatora a wariancją modelu. Doszedłem do tych wniosków: Mamy tendencję do przewyższania danych, gdy zaniedbujemy odchylenie estymatora, to znaczy, gdy staramy się jedynie zminimalizować odchylenie modelu zaniedbując wariancję modelu (innymi słowy, staramy się jedynie …

15 regression  variance  bias  bias-variance-tradeoff 

Chciałbym wiedzieć, czy losowy las Breimana (losowy las w pakiecie R randomForest) wykorzystuje jako kryterium podziału (kryterium wyboru atrybutów) przyrost informacji lub indeks Gini? Próbowałem to znaleźć na http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm oraz w dokumentacji pakietu randomForest w R. Ale jedyną rzeczą, jaką znalazłem, jest to, że można użyć indeksu Gini informatyka o …

15 r  random-forest  entropy  gini 

Jestem nowy w uczeniu maszynowym. Studiuję kurs uczenia maszynowego (Uniwersytet Stanforda) i nie rozumiem, co oznacza ta teoria i jaka jest jej przydatność. Zastanawiam się, czy ktoś mógłby opisać mi tę teorię. Ta teoria oparta jest na tym równaniu.

15 machine-learning  probability  pac-learning 

Eksperymentowałem trochę z różnymi implementacjami Perceptron i chcę się upewnić, czy poprawnie rozumiem „iteracje”. Oryginalna reguła perceptronowa Rosenblatta O ile rozumiem, w klasycznym algorytmie perceptronowym Rosenblatta wagi są jednocześnie aktualizowane po każdym przykładzie treningu za pośrednictwem Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i gdzie etaetaeta jest tutaj zasadą uczenia się. …

15 optimization  gradient-descent  perceptron