Statystyki i duże zbiory danych

3

Jak uzyskać wartości p współczynników z regresji bootstrap?

Z Quick-R Roberta Kabacoffa mam # Bootstrap 95% CI for regression coefficients library(boot) # function to obtain regression weights bs <- function(formula, data, indices) { d <- data[indices,] # allows boot to select sample fit <- lm(formula, data=d) return(coef(fit)) } # bootstrapping with 1000 replications results <- boot(data=mtcars, statistic=bs, R=1000, …

10 r regression p-value bootstrap

1

Porównanie dwóch próbek proporcji, oszacowanie wielkości próby: R vs Stata

Porównanie dwóch próbek proporcji, oszacowanie wielkości próby: R vs Stata Otrzymałem różne wyniki dla wielkości próbek, jak następuje: W R. power.prop.test(p1 = 0.70, p2 = 0.85, power = 0.90, sig.level = 0.05) Wynik: (czyli 161) dla każdej grupy.n=160.7777n=160.7777n = 160.7777 W Stacie sampsi 0.70 0.85, power(0.90) alpha(0.05) Wynik: dla każdej …

10 r stata sample-size power-analysis jmp

4

Dlaczego KNN nie jest „oparty na modelach”?

ESL rozdział 2.4 wydaje się klasyfikować regresję liniową jako „opartą na modelu”, ponieważ zakłada , podczas gdy nie podano podobnego przybliżenia dla najbliższych sąsiadów. Ale czy obie metody nie przyjmują założeń dotyczących ?f(x)≈x⋅βf(x)≈x⋅βf(x) \approx x\cdot\betaf(x)f(x)f(x) Później w 2.4 mówi nawet: Najmniejsze kwadraty zakładają, że jest dobrze przybliżone przez globalnie liniową …

10 machine-learning model k-nearest-neighbour

1

Czy losowe lasy mogą zrobić znacznie lepiej niż błąd testowy 2,8% na MNIST?

Nie znalazłem żadnej literatury na temat zastosowania Losowych Lasów do MNIST, CIFAR, STL-10 itp., Więc pomyślałem, że sam spróbuję ich z MNIST niezmienniczymi permutacjami. W R próbowałem: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Trwało to 2 godziny i wystąpił błąd testu 2,8%. Próbowałem też scikit-learn , z RandomForestClassifier(n_estimators=2000, max_features="auto", max_depth=None) Po …

10 r machine-learning classification random-forest scikit-learn

1

Czy model nasycony jest specjalnym przypadkiem modelu przebudowanego?

Próbuję zrozumieć, czym jest model nasycony. AFAIK ma miejsce, gdy masz tyle funkcji, co obserwacji. Czy możemy powiedzieć, że model nasycony jest specjalnym przypadkiem wyjątkowo przebudowanego modelu?

10 overfitting

2

Test niezależności a test jednorodności

Uczę podstawowego kursu statystycznego i dziś obejmę test niezależności chi-kwadrat dla dwóch kategorii oraz test jednorodności. Te dwa scenariusze są koncepcyjnie różne, ale mogą wykorzystywać tę samą statystykę testową i rozkład. W teście jednorodności zakłada się, że krańcowe wartości dla jednej z kategorii są częścią samego projektu - reprezentują liczbę …

10 chi-squared independence heteroscedasticity teaching

2

Maksymalna i często zamykana - odpowiedź w zestawie

My dataset:My dataset:My \ \ dataset: 1:A,B,C,E1:A,B,C,E1: A,B,C,E 2:A,C,D,E2:A,C,D,E2:A,C,D,E 3: B,C,E3: B,C,E3:\ \ \ \ \ B,C,E 4 : A , C., D , E4:A,C,D,E4:A,C,D,E 5 : C , D , E5: C,D,E5:\ \ \ \ C, D, E 6: A,D,E6: A,D,E6: \ \ \ \ A, D,E Chcę znaleźć …

10 data-mining dataset association-rules

2

Klasyfikator tylko dla jednej klasy

W prostej klasyfikacji mamy dwie klasy: klasa-0 i klasa-1. W niektórych danych mam tylko wartości dla klasy-1, więc żadnej dla klasy-0. Teraz myślę o stworzeniu modelu do modelowania danych dla klasy 1. Tak więc, kiedy pojawiają się nowe dane, model ten jest stosowany do nowych danych i znajduje prawdopodobieństwo określające …

10 machine-learning one-class

3

Uogólnione liniowe modele mieszane: wybór modelu

To pytanie / temat pojawiło się w dyskusji z kolegą i szukałem opinii na ten temat: Modeluję niektóre dane przy użyciu regresji logistycznej efektów losowych, a dokładniej regresji logistycznej przechwytywania losowego. Dla stałych efektów mam 9 zmiennych, które są interesujące i biorą pod uwagę. Chciałbym dokonać pewnego wyboru modelu, aby …

10 mixed-model model-selection aic glmm stepwise-regression

1

Jakie są ograniczenia metod jądra i kiedy należy używać metod jądra?

Metody jądra są bardzo skuteczne w wielu nadzorowanych zadaniach klasyfikacji. Jakie są ograniczenia metod jądra i kiedy należy używać metod jądra? Jakie są postępy w metodach jądra, szczególnie w erze danych na dużą skalę? Jaka jest różnica między metodami jądra a uczeniem się wielu instancji? Jeśli dane są 500x10000, 500czy …

10 machine-learning kernel-trick

2

Czym dokładnie jest słabo informacyjny przeor?

Czy istnieje dokładna definicja słabo informacyjnego przeora? Czym różni się od subiektywnego przeora z szerokim poparciem?

10 bayesian prior

1

Jakiego testu statystycznego należy użyć do testowania wzbogacenia list genów?

Przeprowadziłem eksperyment, aby przetestować wrażliwość komórkową na określony czynnik uszkadzający DNA. Znaleźliśmy 270 genów, które były szczególnie wrażliwe na lek, a całkowita liczba analizowanych genów wyniosła 3668. 38 z 270 wrażliwych genów jest klasyfikowanych jako „geny naprawy DNA”. Jeśli liczba „genów naprawy DNA” zawartych w genomie wynosi 112, a całkowita …

10 biostatistics

1

Zaloguj prawdopodobieństwo dla GLM

W poniższym kodzie wykonuję regresję logistyczną zgrupowanych danych za pomocą glm i „ręcznie” za pomocą mle2. Dlaczego funkcja logLik w R daje mi logarytm logLik (fit.glm) = - 2,336, który jest inny niż logLik (fit.ml) = - 5,514, który otrzymuję ręcznie? library(bbmle) #successes in first column, failures in second Y …

10 r self-study generalized-linear-model

1

Jaka jest różnica między prawdopodobieństwem a logiką rozmytą?

Od lat pracuję z logiką rozmytą (FL) i wiem, że istnieją różnice między FL a prawdopodobieństwem, szczególnie dotyczące sposobu radzenia sobie z niepewnością. Chciałbym jednak zapytać, jakie różnice istnieją między FL a prawdopodobieństwem? Innymi słowy, jeśli mam do czynienia z prawdopodobieństwami (łączenie informacji, agregowanie wiedzy), czy mogę zrobić to samo …

10 bayes fuzzy

1

Co to są korekty Hommela Hochberga?

Niedawno zapoznałem się z poprawkami Hommela Hochberga. Próbuję znaleźć proste wyjaśnienie, co to właściwie jest / robi, ale nie mam szczęścia. Czy ktoś może podać krótki i prosty opis poprawek Hommela Hochberga?

10 hypothesis-testing multiple-comparisons p-value glmm