Statystyki i duże zbiory danych

Próbuję dowiedzieć się, co to różnorodne założenie oznacza w częściowo nadzorowanym uczeniu się. Czy ktoś może wyjaśnić w prosty sposób? Nie rozumiem za tym intuicji. Mówi, że twoje dane leżą na wielowymiarowym kolektorze osadzonym w przestrzeni o wyższych wymiarach. Nie zrozumiałem, co to znaczy.

20 machine-learning  unsupervised-learning  supervised-learning  manifold-learning 

Z Encyklopedii Nauk Statystycznych Rozumiem, że dany dychotomiczne (binarne: 1 = obecna; 0 = brak) atrybuty (zmienne), możemy utworzyć tabelę interwencyjny dla dowolnych dwóch przedmiotów í i j próbki:ppp j 1 0 ------- 1 | a | b | i ------- 0 | c | d | ------- a = …

20 binary-data  similarities  association-measure 

Wikipedia i winieta pakietu warstwowego R dostarczają dobrych informacji na temat założeń wspierających standardowe błędy współczynnika OLS oraz matematycznego tła estymatorów warstwowych. Nadal nie jestem pewien, w jaki sposób rozwiązany jest problem heteroscedastyczności resztek, prawdopodobnie dlatego, że nie do końca rozumiem standardowe oszacowanie wariancji współczynników OLS. Jaka intuicja kryje się …

20 multiple-regression  residuals  heteroscedasticity  robust-standard-error 

Zainspirowany przez " rzeczywistymi przykładami typowych rozkładów ” zastanawiam się, jakich przykładów pedagogicznych używają ludzie, by wykazać negatywne przekrzywienie? Istnieje wiele „kanonicznych” przykładów rozkładów symetrycznych lub normalnych używanych w nauczaniu - nawet jeśli takie jak wzrost i waga nie przeżyją dokładniejszej analizy biologicznej! Ciśnienie krwi może być bliższe normalności. Lubię …

20 distributions  skewness  teaching 

Czy istnieje sposób przetestowania liniowej separowalności zestawu danych dwóch klas w dużych wymiarach? Moje wektory cech mają 40 długości. Wiem, że zawsze mogę przeprowadzać eksperymenty z regresją logistyczną i określać szybkość hitrate vs. fałszywego alarmu, aby stwierdzić, czy dwie klasy można rozdzielić liniowo, czy nie, ale dobrze byłoby wiedzieć, czy …

20 machine-learning  classification 

Załóżmy że są ciągłymi zmiennymi losowymi ze skończonymi sekundami. wersję współczynnika korelacji rang Spearmana można zdefiniować jako współczynnik iloczynu iloczynu Pearsona ρ całek prawdopodobieństwa przekształca F_X (X) i F_Y (Y) , gdzie F_X, F_Y są cdf dla X i Y , tj.ρ s F X ( X ) F Y …

20 correlation  pearson-r  spearman-rho 

W podejściu algorytmu EM wykorzystujemy nierówność Jensena do uzyskania logp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz θ(k+1)θ(k+1)\theta^{(k+1)}θ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dzθ(k+1)=arg⁡maxθ∫log⁡p(z,x|θ)p(z|x,θ(k))dz\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz Wszystko, co czytam EM, po prostu go rozwala, ale zawsze czułem się nieswojo, nie mając wyjaśnienia, dlaczego algorytm EM powstaje naturalnie. Rozumiem, …

20 mixture  expectation-maximization 

Nie chcę wiedzieć, czy niektóre zjawiska w przyrodzie mają rozkład normalny, ale czy możemy gdzieś zobaczyć kształt krzywej normalnej, tak jak na przykład w polu Galtona. Zobacz ten rysunek z Wikipedii. Należy zauważyć, że wiele matematycznych kształtów lub krzywych jest bezpośrednio widocznych w przyrodzie, na przykład złoty środek i spirala …

20 distributions  normality-assumption 

Czy ktoś może udowodnić następujący związek między wskaźnikiem informacji Fishera a względną entropią (lub dywergencją KL) w czysto matematyczny, rygorystyczny sposób? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) gdzie a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Chcę, aby zaimplementować algorytm EM ręcznie, a następnie porównać je do wyników działań normalmixEMz mixtoolsopakowania. Oczywiście byłbym szczęśliwy, gdyby oba doprowadziły do ​​tych samych rezultatów. Głównym odniesieniem jest Geoffrey McLachlan (2000), Finite Mixture Models . Mam gęstość mieszanki dwóch Gaussów, w ogólnej formie, logarytmiczne prawdopodobieństwo podaje (McLachlan strona 48): logL.do( …

20 r  expectation-maximization  gaussian-mixture 

Używam libsvm w trybie C-SVC z wielomianowym jądrem stopnia 2 i muszę trenować wiele SVM. Każdy zestaw treningowy ma 10 funkcji i 5000 wektorów. Podczas treningu otrzymuję to ostrzeżenie dla większości maszyn SVM, które trenuję: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 Czy ktoś mógłby wyjaśnić, …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Breiman mówi, że drzewa rosną bez przycinania. Dlaczego? Mam na myśli, że musi istnieć solidny powód, dla którego drzewa w losowym lesie nie są przycinane. Z drugiej strony uważa się za bardzo ważne przycinanie jednego drzewa decyzji, aby uniknąć nadmiernego dopasowania. Czy z tego powodu dostępna jest literatura? Oczywiście drzewa …

20 machine-learning 

Pracuję nad algorytmem, który opiera się na fakcie, że obserwacje są normalnie rozłożone, i chciałbym empirycznie przetestować odporność algorytmu na to założenie.YYY Aby to zrobić, szukałem sekwencji przemian , które stopniowo zakłócić normalność . Na przykład, jeśli są normalne, mają skośność i kurtozę , i byłoby miło znaleźć sekwencję transformacji, …

20 data-transformation  normality-assumption  skewness  kurtosis 

Współpracownik analizuje niektóre dane biologiczne pod kątem swojej pracy doktorskiej z pewną nieprzyjemną heteroscedastycznością (rysunek poniżej). Analizuje to za pomocą modelu mieszanego, ale nadal ma problemy z resztkami. Logarytmiczne przekształcanie zmiennych odpowiedzi czyści wszystko i na podstawie informacji zwrotnych na to pytanie wydaje się to właściwe podejście. Początkowo sądziliśmy jednak, …

20 mixed-model  poisson-distribution  biostatistics 

Załóżmy, że mam 20 myszy. W jakiś sposób łączę myszy w pary, aby uzyskać 10 par. Na potrzeby tego pytania może to być przypadkowa para LUB może to być rozsądna para, na przykład próba sparowania myszy z tego samego miotu, tej samej płci, o podobnej wadze, LUB może to być …

20 t-test  paired-data