Statystyki i duże zbiory danych

1

Najlepsze metody ekstrakcji czynnikowej w analizie czynnikowej

SPSS oferuje kilka metod ekstrakcji czynników: Główne składniki (które wcale nie są analizą czynnikową) Nieważone najmniejsze kwadraty Uogólnione najmniejsze kwadraty Maksymalne prawdopodobieństwo Głównej osi Faktoring alfa Faktoring obrazu Ignorując pierwszą metodę, która nie jest analizą czynnikową (ale analizą głównego składnika, PCA), która z tych metod jest „najlepsza”? Jakie są względne …

29 spss pca factor-analysis

2

Różnica między naiwnymi Bayesami a wielomianowymi naiwnymi Bayesami

Wcześniej miałem do czynienia z klasyfikatorem Naive Bayes . Czytałem ostatnio o Multinomial Naive Bayes . Również prawdopodobieństwo późniejsze = (wcześniejsze * prawdopodobieństwo) / (dowód) . Jedyną podstawową różnicą (podczas programowania tych klasyfikatorów), którą znalazłem między Naive Bayes i Multinomial Naive Bayes, jest to, że Wielomian Naive Bayes oblicza prawdopodobieństwo, …

29 bayesian classification text-mining naive-bayes

3

Interpretacja prostych prognoz na iloraz szans w regresji logistycznej

Nieco jestem nowy w stosowaniu regresji logistycznej i jestem nieco zdezorientowany rozbieżnością między moimi interpretacjami następujących wartości, które moim zdaniem byłyby takie same: wykładnicze wartości beta przewidywane prawdopodobieństwo wyniku przy użyciu wartości beta. Oto uproszczona wersja modelu, którego używam, gdzie niedożywienie i ubezpieczenie są zarówno binarne, a bogactwo jest ciągłe: …

29 regression logistic interpretation prediction odds-ratio

1

SVD skorelowanej macierzy powinno być addytywne, ale nie wydaje się

Usiłuję tylko powtórzyć twierdzenie przedstawione w poniższym artykule Finding Correlated Biclusters z Gene Expression Data , czyli: Twierdzenie 4. Jeśli . Następnie mamy:Xjajot= RjadoT.jotXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} ja. Jeśli jest idealnym biclusterem z modelem addytywnym, to jest idealnym biclusterem z korelacją na kolumnach; ii. Jeśli jest idealnym bicluster z modelem addytywnym, to jest …

29 correlation multivariate-analysis svd

1

Różnice między modelem statystycznym a modelem prawdopodobieństwa?

Zastosowane prawdopodobieństwo jest ważną gałęzią prawdopodobieństwa, w tym prawdopodobieństwem obliczeniowym. Ponieważ statystyki wykorzystują teorię prawdopodobieństwa do konstruowania modeli do przetwarzania danych, w moim rozumieniu zastanawiam się, jaka jest zasadnicza różnica między modelem statystycznym a modelem prawdopodobieństwa? Model prawdopodobieństwa nie potrzebuje rzeczywistych danych? Dzięki.

29 probability mathematical-statistics

3

Jaka jest różnica w tym, co AIC i statystyka c (AUC) faktycznie mierzą w celu dopasowania modelu?

Akaike Information Criterion (AIC) i c-statystyka (pole pod krzywą ROC) to dwie miary dopasowania modelu do regresji logistycznej. Mam problem z wyjaśnieniem, co się dzieje, gdy wyniki dwóch miar nie są spójne. Wydaje mi się, że mierzą nieco inne aspekty dopasowania modelu, ale jakie są te szczególne aspekty? Mam 3 …

29 logistic roc aic auc

4

Pakiety R do wykonywania modelowania tematów / LDA: po prostu `topicmodels` i` lda` [zamknięte]

Wydaje mi się, że tylko dwa pakiety R są w stanie wykonać Latent Dirichlet Allocation : Jednym z nich jest ldaautor Jonathan Chang; drugim jest topicmodelsBettina Grün i Kurt Hornik. Jakie są różnice między tymi dwoma pakietami pod względem wydajności, szczegółów implementacji i możliwości rozszerzenia?

29 r bayesian text-mining topic-models latent-dirichlet-alloc

3

Czym różni się rozkład Poissona od rozkładu normalnego?

Wygenerowałem wektor, który ma rozkład Poissona, jak następuje: x = rpois(1000,10) Jeśli wykonam histogram używając hist(x), rozkład wygląda jak znajomy rozkład normalny w kształcie dzwonu. Jednak w teście Kołmogorowa-Smirnoffa ks.test(x, 'pnorm',10,3)stwierdzono, że rozkład różni się znacznie od rozkładu normalnego z powodu bardzo małej pwartości. Moje pytanie brzmi zatem: czym różni …

29 distributions histogram normal-distribution poisson-distribution

4

Prosty sposób na algorytmiczną identyfikację wzrostu zarejestrowanych błędów

Potrzebujemy systemu wczesnego ostrzegania. Mam do czynienia z serwerem, o którym wiadomo, że ma problemy z wydajnością pod obciążeniem. Błędy są rejestrowane w bazie danych wraz ze znacznikiem czasu. Istnieje kilka kroków ręcznej interwencji, które można podjąć w celu zmniejszenia obciążenia serwera, ale tylko wtedy, gdy ktoś jest świadomy problemu …

29 time-series real-time

2

Oblicz macierz przejścia (Markov) w R.

Czy istnieje sposób w R (funkcja wbudowana) do obliczenia macierzy przejścia dla łańcucha Markowa na podstawie zestawu obserwacji? Na przykład biorąc zestaw danych jak poniżej i obliczyć macierz przejścia pierwszego rzędu? dat<-data.frame(replicate(20,sample(c("A", "B", "C","D"), size = 100, replace=TRUE)))

29 r markov-process

3

Jakiego testu mogę użyć do porównania nachyleń z dwóch lub więcej modeli regresji?

Chciałbym przetestować różnicę w odpowiedzi dwóch zmiennych na jeden predyktor. Oto minimalny odtwarzalny przykład. library(nlme) ## gls is used in the application; lm would suffice for this example m.set <- gls(Sepal.Length ~ Petal.Width, data = iris, subset = Species == "setosa") m.vir <- gls(Sepal.Length ~ Petal.Width, data = iris, subset …

29 r data-visualization multivariate-analysis hypothesis-testing

6

Interpretacja testu Shapiro-Wilka

Jestem całkiem nowy w statystyce i potrzebuję twojej pomocy. Mam małą próbkę, jak następuje: H4U 0.269 0.357 0.2 0.221 0.275 0.277 0.253 0.127 0.246 Przeprowadziłem test Shapiro-Wilk przy użyciu R: shapiro.test(precisionH4U$H4U) i otrzymałem następujący wynik: W = 0.9502, p-value = 0.6921 Teraz, jeśli założę, że poziom istotności na 0,05, niż …

29 r distributions interpretation goodness-of-fit normality-assumption

2

Dopasowanie modelu ARIMAX z regularyzacją lub penalizacją (np. Z regresją lasso, elastyczną siatką lub kalenicą)

Korzystam z funkcji auto.arima () w pakiecie prognozy , aby dopasować modele ARMAX do różnych zmiennych towarzyszących. Jednak często mam dużą liczbę zmiennych do wyboru i zwykle kończę na ostatecznym modelu, który działa z ich podzbiorem. Nie lubię technik ad hoc do wybierania zmiennych, ponieważ jestem człowiekiem i podlegam tendencyjności, …

29 r time-series lasso regularization elastic-net

3

Dobre samouczki Gibbs i samouczki

Chcę się dowiedzieć, jak działa Gibbs Sampling i szukam dobrego papieru podstawowego do średnio zaawansowanego. Mam wykształcenie informatyczne i podstawową wiedzę statystyczną. Czy ktoś czytał wokół dobry materiał? gdzie się tego nauczyłeś? Dzięki

29 references gibbs

3

Czy test Kołmogorowa-Smirnowa jest ważny przy rozkładach dyskretnych?

Porównuję próbkę i sprawdzam, czy rozprowadza się ją jako jakąś dyskretną dystrybucję. Nie jestem jednak pewien, czy Kołmogorow-Smirnov ma zastosowanie. Wikipedia wydaje się sugerować, że tak nie jest. Jeśli nie, to jak mogę przetestować rozkład próbki?

29 hypothesis-testing discrete-data kolmogorov-smirnov