Statystyki i duże zbiory danych

Moje pytanie w skrócie: czy istnieją metody poprawy czasu działania R MICE (imputacja danych)? Pracuję z zestawem danych (30 zmiennych, 1,3 miliona wierszy), który zawiera (dość losowo) brakujące dane. Około 8% obserwacji w około 15 z 30 zmiennych zawiera NA. Aby przypisać brakujące dane, uruchamiam funkcję MICE, część pakietu MICE …

9 r  multiple-imputation  mice 

W słynnym eksperymencie Fishera obserwowalna jest liczba poprawionych zgadywanych filiżanekkkk mając dwa rodzaje filiżanek ZAZAA i bbB. Zwykle interesujące jest obliczenie obszaru krytycznego, aby odrzucić hipotezę zerową (dama losowo zgaduje), biorąc pod uwagę wielkość testu . Można to łatwo zrobić za pomocą rozkładu hipergeometrycznego. W ten sam sposób mogę obliczyć …

9 hypothesis-testing  power  fishers-exact 

Jestem przyzwyczajony do znajomości „stopni swobody” jako n−rn−rn - r, gdzie masz model liniowy z \ mathbf {y} \ in \ mathbb {R} ^ n , \ mathbf { X} \ in M_ {n \ times p} (\ mathbb {R}) macierz projektowa z rangą r , \ boldsymbol {\ beta} …

9 t-test  degrees-of-freedom 

Odrabiam pracę domową na drzewach decyzyjnych, a jedno z pytań, na które muszę odpowiedzieć, brzmi: „Dlaczego estymatory zbudowane są z drzew tendencyjnych i jak workowanie pomaga zmniejszyć ich wariancję?”. Wiem teraz, że przeregulowane modele mają tendencję do bardzo niskiego odchylenia, ponieważ próbują dopasować wszystkie punkty danych. I miałem skrypt w …

9 cart  bias 

Czy ktoś może mi powiedzieć, jak symulować , gdzie , za pomocą rzutu monetą (tyle razy, ile potrzebujesz) z ?Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right)a,b∈Na,b∈Na,b\in \mathbb{N}P(H)=pP(H)=pP(H)=p Myślałem o użyciu próbkowania odrzucenia, ale nie mogłem tego dopracować.

9 probability  simulation  bernoulli-distribution  rejection-sampling 

Czy istnieje matematyczny związek między: podobieństwo cosinus nazwa dwóch wektorów i orazsim(A,B)sim⁡(A,B)\operatorname{sim}(A, B)AAABBB cosinus podobieństwo z i , niejednorodnie skalowane poprzez danej matrycy ? Tutaj jest daną macierzą diagonalną z nierównymi elementami na przekątnej.sim(MA,MB)sim⁡(MA,MB)\operatorname{sim}(MA, MB)AAABBBMMMMMM Próbowałem przejrzeć obliczenia, ale nie mogłem dotrzeć do prostego / interesującego linku (wyrażenia). Zastanawiam się, …

9 linear-algebra  cosine-similarity 

Obecnie patrzę na artykuł z modelu efektów losowych procesu Dirichleta, a jego specyfikacja jest następująca: gdzie jest parametrem skali a jest miarą podstawową. W dalszej części artykułu sugeruje, że zintegrujemy funkcję nad miarą podstawową taką jak Czy podstawową miarą w procesie Dirichleta jest cdf, czy jest to pdf? Co się …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

W swojej pracy w autoencoders do klasyfikacji tekst Hinton i Salakhutdinov wykazały wykres wytwarzanego przez 2 wymiarowe LSA (co jest ściśle związane z PCA) . Stosując PCA do absolutnie różnych nieco nieco wymiarowych danych, otrzymałem podobnie wyglądający wykres: (z wyjątkiem tego przypadku naprawdę chciałem wiedzieć, czy jest jakaś struktura wewnętrzna). …

9 data-visualization  pca 

Szukam zasobów (nie musi to być pojedyncza książka), które obejmowałyby niektóre z bardziej wymagających przypadków projektowania eksperymentalnego i analizy statystycznej. Niektóre przypadki, które chciałbym omówić: 1. Przypadki, w których jednostki randomizacji różnią się od jednostek analizy Przykład: prowadzę platformę e-commerce z M sprzedawcami i N kupcami. Chcę wprowadzić leczenie na …

9 references  experiment-design 

Jest zakorzenione w nauczaniu dyscyplin stosowanych, takich jak medycyna, że ​​pomiary ilości biomedycznych w populacji są zgodne z normalną „krzywą dzwonową”. Zwraca wyszukiwane przez Google ciąg „założyliśmy rozkład normalny”23,90023,900\small 23,900wyniki! Brzmią jak: „biorąc pod uwagę niewielką liczbę ekstremalnych punktów danych, przyjęliśmy normalny rozkład anomalii temperaturowych” w badaniu dotyczącym zmian klimatu; …

9 normal-distribution  assumptions  normality-assumption  lognormal 

Rozważmy kwadratową stratę , z podanym wcześniej gdzie . Niech prawdopodobieństwo. Znajdź estymator Bayesa .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Rozważ ważoną stratę kwadratową gdzie z wcześniejszym . Niech będzie prawdopodobieństwem. Znajdź estymator Bayesa .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Porównaj iδπδπ\delta^\piδπ1δ1π\delta^\pi_1 Najpierw zauważyłem, że , i założyłem, że takie jest prawdopodobieństwo, w przeciwnym razie …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

Przypuśćmy, że chcę wytrenować głęboką sieć neuronową do przeprowadzania klasyfikacji lub regresji, ale chcę wiedzieć, jak pewne będą prognozy. Jak mogłem to osiągnąć? Moim pomysłem jest obliczenie entropii krzyżowej dla każdego układu odniesienia na podstawie wyników jego prognozowania w miernikach neuronowych powyżej. Następnie trenowałbym drugą sieć neuronową do regresji, która …

9 machine-learning  neural-networks 

Pytanie oparte jest na pracy zatytułowanej: Rekonstrukcja obrazu w rozproszonej tomografii optycznej z wykorzystaniem sprzężonego radiacyjnego modelu transportowo-dyfuzyjnego Link do pobrania Autorzy stosują algorytm EM z rzadkości nieznanego wektora celu oszacowania pikseli obrazu. Model podajel1l1l_1μμ\mu y=Aμ+e(1)(1)y=Aμ+ey=A\mu + e \tag{1} Oszacowanie podano w równaniu (8) as μ^=argmaxlnp(y|μ)+γlnp(μ)(2)(2)μ^=arg⁡maxln⁡p(y|μ)+γln⁡p(μ)\hat{\mu} = \arg max {\ln …

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average 

Dobrze wiadomo, że niezależność zmiennych losowych implikuje zerową korelację, ale zerowa korelacja nie musi oznaczać niezależności. Natknąłem się na wiele przykładów matematycznych wykazujących zależność pomimo zerowej korelacji. Czy istnieją jakieś prawdziwe przykłady na poparcie tego faktu?

9 correlation  independence  intuition 

Przeczytałem klasyfikatory algebraiczne: ogólne podejście do szybkiej walidacji krzyżowej, szkolenia online i szkolenia równoległego i byłem zaskoczony wydajnością algorytmów pochodnych. Wydaje się jednak, że poza Naive Bayes (i GBM) nie ma wielu algorytmów dostosowanych do frameworka. Czy są jakieś inne artykuły, które pracowały nad różnymi klasyfikatorami? (SVM, losowe lasy)

9 cross-validation  references  random-forest  computational-statistics  naive-bayes