Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Kiedy stosować technikę bootstrap kontra technika bayesowska?
Mam dość skomplikowany problem analizy decyzji obejmujący testy niezawodności, a logiczne podejście (dla mnie) wydaje się obejmować wykorzystanie MCMC do obsługi analizy bayesowskiej. Zasugerowano jednak, że bardziej odpowiednie byłoby zastosowanie metody ładowania początkowego. Czy ktoś mógłby zasugerować odniesienie (lub trzy), które mogłyby poprzeć zastosowanie jednej z technik w stosunku do …
1
Szacowanie rozkładu na podstawie danych
Mam próbkę danych wygenerowanych Rprzez rnorm(50,0,1), więc dane oczywiście przyjmują rozkład normalny. Jednak Rnie „zna” tych informacji o dystrybucji danych. Czy istnieje metoda Rpozwalająca oszacować, z jakiego rodzaju dystrybucji pochodzi moja próbka? Jeśli nie, skorzystam z shapiro.testfunkcji i postąpię w ten sposób.
12 r  distributions 
1
Pakiety Python do pracy z modelami mieszanin Gaussa (GMM)
Wydaje się, że istnieje kilka opcji pracy z modelami mieszanki Gaussa (GMM) w Pythonie. Na pierwszy rzut oka są co najmniej: PyMix - http://www.pymix.org/pymix/index.php Narzędzia do modelowania mieszanin PyEM - http://www.ar.media.kyoto-u.ac.jp/members/david/softwares/em/, który jest częścią zestawu narzędzi Scipy i wydaje się koncentrować na aktualizacji GMM : Teraz znany jako sklearn.mixture . …
3
Jakie są rozkłady na dodatnim kwadrancie k-wymiarowym z parametryzowalną macierzą kowariancji?
W następstwie ZZK jest pytanie o jego problem z ujemnymi symulacji, zastanawiam się jakie są parametryzowane rodziny rozkładów na dodatniej k-wymiarowa ćwiartce, , dla których kowariancji macierzy może być ustawiony.Rk+R+k\mathbb{R}_+^kΣΣ\Sigma Jak omówiono z zzk , rozpoczęcie od rozkładu na i zastosowanie transformacji liniowej nie działa.Rk+R+k\mathbb{R}_+^kX⟶ Σ1 / 2( X- μ …
2
Test statystyczny dla wartości znacznie oddalonej od średniej populacji: czy jest to test Z czy test T?
Jak znacząca jest wartość w porównaniu do listy wartości? W większości przypadków testy statystyczne obejmują porównanie zestawu próbek z populacją. W moim przypadku próbka składa się z jednej wartości i porównujemy ją z populacją. Jestem dyletantem w testowaniu hipotez statystycznych w obliczu chyba najbardziej podstawowego problemu. To nie tylko jeden …
2
Analiza współczynników regresji logistycznej
Oto lista współczynników regresji logistycznej (pierwszy to przechwycenie) -1059.61966694592 -1.23890500515482 -8.57185269220438 -7.50413155570413 0 1.03152408392552 1.19874787949191 -4.88083274930613 -5.77172565873336 -1.00610998453393 Dziwne wydaje mi się, że przecięcie jest tak niskie i mam współczynnik, który w rzeczywistości jest równy 0. Nie jestem w pełni pewien, jak bym to zinterpretował. Czy 0 wskazuje, że konkretna …
2
Hierarchiczny model bayesowski (?)
Przepraszam za rzeź w statystycznym żargonie :) Znalazłem tutaj kilka pytań związanych z reklamą i współczynnikiem klikalności. Ale żadne z nich nie bardzo mi pomogło w zrozumieniu mojej hierarchicznej sytuacji. Istnieje podobne pytanie Czy te równoważne reprezentacje tego samego hierarchicznego modelu bayesowskiego? , ale nie jestem pewien, czy rzeczywiście mają …
1
Częściowa regresja najmniejszych kwadratów w R: dlaczego PLS na znormalizowanych danych nie jest równoważny maksymalizacji korelacji?
Jestem bardzo nowy w częściowych najmniejszych kwadratach (PLS) i staram się zrozumieć wynik funkcji R plsr()w plspakiecie. Symulujmy dane i uruchom PLS: library(pls) n <- 50 x1 <- rnorm(n); xx1 <- scale(x1) x2 <- rnorm(n); xx2 <- scale(x2) y <- x1 + x2 + rnorm(n,0,0.1); yy <- scale(y) p <- …
1
Czy rzadki zestaw treningowy niekorzystnie wpływa na SVM?
Próbuję klasyfikować wiadomości do różnych kategorii za pomocą SVM. Przygotowałem listę pożądanych słów / symboli z zestawu szkoleniowego. Dla każdego wektora, który reprezentuje komunikat, ustawiam odpowiedni wiersz, 1jeśli słowo jest obecne: „ciało” to: [mary, mała, jagnięca, gwiazda, migotanie] pierwsza wiadomość: „Mary miała małą owieczkę” -> [1 1 1 0 0] …
1
Kroki, aby ustalić rozkład boczny, kiedy może być wystarczająco prosty, aby mieć postać analityczną?
Zapytano o to również w Computational Science. Próbuję obliczyć bayesowskie oszacowanie niektórych współczynników dla autoregresji, z 11 próbkami danych: gdzie jest Gaussa ze średnią 0 i wariancją Wcześniejszy rozkład na wektorze jest Gaussa ze średnią i ukośną macierzą kowariancji z wpisy ukośne równe .Yi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + …
2
Inżynieria cech niezależna od domeny, która zachowuje znaczenie semantyczne?
Inżynieria cech jest często ważnym elementem uczenia maszynowego (została wykorzystana bardzo często, aby wygrać Puchar KDD w 2010 r .). Uważam jednak, że większość technik inżynierii cech również zniszczyć jakiekolwiek intuicyjne znaczenie podstawowych funkcji lub są bardzo specyficzne dla konkretnej domeny lub nawet określonego rodzaju funkcji. Klasycznym przykładem tego pierwszego …
1
Zrozumienie twierdzenia o braku darmowego lunchu w klasyfikacji wzorców Dudy i in
Mam kilka pytań dotyczących zapisów używanych w rozdziale 9.2 Brak nieodłącznej wyższości jakiegokolwiek klasyfikatora w klasyfikacji wzorów Dudy, Harta i Bociana . Najpierw pozwól mi zacytować odpowiedni tekst z książki: Dla uproszczenia rozważmy problem dwóch kategorii, w którym zestaw szkoleniowy składa się ze wzorów i powiązanych etykiet kategorii dla wygenerowanych …
2
Zastosowanie uczenia maszynowego do filtrowania DDoS
Na kursie uczenia maszynowego Stanforda Andrew Ng wspomniał o stosowaniu ML w IT. Jakiś czas później, kiedy dostałem DDoS o średniej wielkości (około 20 tys. Botów) na naszej stronie, postanowiłem z nim walczyć za pomocą prostego klasyfikatora sieci neuronowej. Napisałem ten skrypt Pythona w około 30 minut: https://github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos Wykorzystuje pyBrain …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.