Statystyki i duże zbiory danych gaussian-mixture

5

Grupowanie zestawu danych ze zmiennymi dyskretnymi i ciągłymi

Mam zestaw danych X, który ma 10 wymiarów, z których 4 to wartości dyskretne. W rzeczywistości te 4 zmienne dyskretne są porządkowe, tzn. Wyższa wartość implikuje wyższy / lepszy semantyczny. 2 z tych zmiennych dyskretnych są jakościowe w tym sensie, że dla każdej z tych zmiennych odległość np. Od 11 …

33 clustering k-means discrete-data continuous-data gaussian-mixture

2

Jeśli grupowanie k-średnich jest formą modelowania mieszanki Gaussa, czy można go zastosować, gdy dane nie są normalne?

Czytam Bishopa o algorytmie EM dla GMM i związku między GMM a k-średnich. W tej książce jest napisane, że k-średnich jest trudną wersją GMM. Zastanawiam się, czy to implikuje, że jeśli dane, które próbuję skupić, nie są gaussowskie, nie mogę użyć k-średnich (a przynajmniej nie nadaje się do użycia)? Na …

21 clustering data-mining k-means gaussian-mixture

2

Algorytm EM ręcznie wdrożony

Chcę, aby zaimplementować algorytm EM ręcznie, a następnie porównać je do wyników działań normalmixEMz mixtoolsopakowania. Oczywiście byłbym szczęśliwy, gdyby oba doprowadziły do tych samych rezultatów. Głównym odniesieniem jest Geoffrey McLachlan (2000), Finite Mixture Models . Mam gęstość mieszanki dwóch Gaussów, w ogólnej formie, logarytmiczne prawdopodobieństwo podaje (McLachlan strona 48): logL.do( …

20 r expectation-maximization gaussian-mixture

2

Dlaczego optymalizacja mieszanki Gaussa bezpośrednio jest trudna obliczeniowo?

Rozważ logarytmiczne prawdopodobieństwo mieszanki Gaussów: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Zastanawiałem się, dlaczego trudno było obliczeniowo bezpośrednio zmaksymalizować to równanie? Szukałem albo wyraźnej, solidnej intuicji, dlaczego powinno być oczywiste, że jest to trudne, a może bardziej rygorystyczne wyjaśnienie, dlaczego jest trudne. Czy ten problem jest NP-zupełny, …

18 machine-learning gaussian-mixture expectation-maximization

2

Dlaczego maksymalizacja oczekiwań jest ważna dla modeli mieszanin?

Istnieje wiele literatury podkreślającej metodę maksymalizacji oczekiwań na modelach mieszanin (mieszanina modelu Gaussa, model ukrytego Markowa itp.). Dlaczego EM jest ważny? EM to tylko sposób na optymalizację i nie jest szeroko stosowany jako metoda oparta na gradiencie (metoda przyzwoitego gradientu lub metoda newtona / quasi-newtona) lub inna metoda bez gradientu …

15 machine-learning optimization expectation-maximization gaussian-mixture

2

Jak dopasować model mieszanki do grupowania

Mam dwie zmienne - X i Y i muszę ustawić klaster maksymalnie (i optymalnie) = 5. Załóżmy, że idealny wykres zmiennych wygląda następująco: Chciałbym zrobić z tego 5 klastrów. Coś takiego: Dlatego myślę, że jest to model mieszany z 5 klastrami. Każda grupa ma punkt środkowy i okrąg zaufania wokół …

15 r clustering gaussian-mixture

1

Jaka intuicja kryje się za wymiennymi próbkami pod hipotezą zerową?

Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny, Mann-Whitney-U-testktóry prowadziłby do utraty większej ilości informacji. Jednak nie należy zapominać o jednym …

15 hypothesis-testing permutation-test exchangeability r statistical-significance loess data-visualization normal-distribution pdf ggplot2 kernel-smoothing probability self-study expected-value normal-distribution prior correlation time-series regression heteroscedasticity estimation estimators fisher-information data-visualization repeated-measures binary-data panel-data mathematical-statistics coefficient-of-variation normal-distribution order-statistics regression machine-learning one-class probability estimators forecasting prediction validation finance measurement-error variance mean spatial monte-carlo data-visualization boxplot sampling uniform chi-squared goodness-of-fit probability mixture theory gaussian-mixture regression statistical-significance p-value bootstrap regression multicollinearity correlation r poisson-distribution survival regression categorical-data ordinal-data ordered-logit regression interaction time-series machine-learning forecasting cross-validation binomial multiple-comparisons simulation false-discovery-rate r clustering frequency wilcoxon-mann-whitney wilcoxon-signed-rank r svm t-test missing-data excel r numerical-integration r random-variable lme4-nlme mixed-model weighted-regression power-law errors-in-variables machine-learning classification entropy information-theory mutual-information

5

Zagadnienia osobliwości w modelu mieszanki Gaussa

W rozdziale 9 książki Rozpoznawanie wzorców i uczenie maszynowe jest ta część o modelu mieszanki Gaussa: Szczerze mówiąc, tak naprawdę nie rozumiem, dlaczego stworzyłoby to osobliwość. Czy ktoś może mi to wytłumaczyć? Przykro mi, ale jestem tylko studentem i początkującym w uczeniu maszynowym, więc moje pytanie może zabrzmieć trochę głupio, …

15 gaussian-mixture

3

Odnośniki uzasadniające użycie mieszanek gaussowskich

Modele mieszanin gaussowskich (GMM) są atrakcyjne, ponieważ są łatwe do pracy zarówno w analityce, jak i w praktyce, i są w stanie modelować niektóre egzotyczne rozkłady bez zbytniej złożoności. Istnieje kilka właściwości analitycznych, których należy się spodziewać, które nie są ogólnie jasne. W szczególności: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0? Powiedzmy, że …

14 probability normal-distribution references gaussian-mixture information-theory

1

Różne typy kowariancji modeli mieszanki Gaussa

Próbując tutaj modeli mieszanki Gaussa , znalazłem 4 rodzaje kowariancji. 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single variance). Dużo szukałem w Google, aby …

14 covariance-matrix gaussian-mixture

3

Zależność między sumą RV Gaussa a mieszaniną Gaussa

Wiem, że suma Gaussów to Gaussowie. Czym więc różni się mieszanina Gaussów? Mam na myśli, że mieszanina Gaussów to tylko suma Gaussów (gdzie każdy Gaussian jest mnożony przez odpowiedni współczynnik mieszania), prawda?

13 normal-distribution random-variable mixture gaussian-mixture

1

Kwantyle z kombinacji rozkładów normalnych

Mam informacje o rozkładach wymiarów antropometrycznych (takich jak rozpiętość ramion) dla dzieci w różnym wieku. Dla każdego wieku i wymiaru mam na myśli standardowe odchylenie. (Mam również osiem kwantyli, ale nie sądzę, że będę w stanie uzyskać od nich to, czego chcę). Dla każdego wymiaru chciałbym oszacować poszczególne kwantyle rozkładu …

13 normal-distribution quantiles gaussian-mixture aggregation

1

Wybór modelu Mclust

Pakiet R mclustwykorzystuje BIC jako kryterium wyboru modelu klastra. Z mojego zrozumienia, model z najniższym BIC powinien zostać wybrany w porównaniu z innymi modelami (jeśli zależy ci tylko na BIC). Jednak gdy wszystkie wartości BIC są ujemne, Mclustfunkcja domyślnie przyjmuje model o najwyższej wartości BIC. Moje ogólne zrozumienie z różnych …

11 r clustering gaussian-mixture bic model-based-clustering

1

R / mgcv: Dlaczego produkty tensorowe te () i ti () wytwarzają różne powierzchnie?

mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

Odległość między dwiema mieszankami gaussowskimi do oceny rozwiązań klastrowych

Korzystam z szybkiej symulacji, aby porównać różne metody klastrowania, i obecnie mam problem z oceną rozwiązań klastrowych. Znam różne miary sprawdzania poprawności (wiele z nich znajduje się w klaster.stats () w R), ale zakładam, że najlepiej je wykorzystać, jeśli szacunkowa liczba klastrów faktycznie równa się prawdziwej liczbie klastrów. Chcę zachować …

11 clustering kullback-leibler gaussian-mixture

Pytania otagowane jako gaussian-mixture