Statystyki i duże zbiory danych

1

Dlaczego moje wartości p różnią się między wynikami regresji logistycznej, testem chi-kwadrat i przedziałem ufności dla OR?

Zbudowałem regresję logistyczną, w której zmienna wynikowa jest leczona po otrzymaniu leczenia ( Curevs. No Cure). Wszyscy pacjenci w tym badaniu zostali poddani leczeniu. Interesuje mnie, czy cukrzyca jest związana z tym wynikiem. W R mój wynik regresji logistycznej wygląda następująco: Call: glm(formula = Cure ~ Diabetes, family = binomial(link …

37 r hypothesis-testing logistic generalized-linear-model odds-ratio

2

Kiedy t-SNE wprowadza w błąd?

Cytując jednego z autorów: t-Distributed Stochastic Neighbor Embedding (t-SNE) to ( nagradzana ) technika redukcji wymiarowości, która szczególnie dobrze nadaje się do wizualizacji wysokowymiarowych zestawów danych. Brzmi więc całkiem nieźle, ale tak mówi Autor. Kolejny cytat autora (dotyczy: wspomnianego wyżej konkursu): Co zabrałeś z tego konkursu? Zawsze najpierw zwizualizuj swoje …

37 data-visualization dimensionality-reduction tsne

3

Czy znak wyników lub ładunków w PCA lub FA ma znaczenie? Czy mogę odwrócić znak?

Przeprowadziłem analizę składowych głównych (PCA) z R przy użyciu dwóch różnych funkcji ( prcompi princomp) i zauważyłem, że wyniki PCA różnią się znakiem. Jak to możliwe? Rozważ to: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 [6,] 0.481756 0.1639112 …

37 r pca factor-analysis

4

Różnica między prognozą a prognozą?

Zastanawiałem się, jaka jest różnica i związek między prognozą a prognozą? Zwłaszcza w szeregach czasowych i regresji? Na przykład czy mam rację, że: W szeregach czasowych prognozowanie wydaje się oznaczać oszacowanie przyszłych wartości na podstawie przeszłych wartości szeregu czasowego. W regresji przewidywanie wydaje się oznaczać oszacowanie wartości, niezależnie od tego, …

37 regression time-series forecasting terminology

3

Test ładowania początkowego a testowanie permutacji

Istnieje kilka popularnych technik ponownego próbkowania, które są często stosowane w praktyce, takich jak ładowanie, test permutacji, scyzoryk itp. Istnieje wiele artykułów i książek na temat tych technik, na przykład Philip I Good (2010) Permutation, Parametric i Bootstrap Tests hipotez Moje pytanie brzmi, która technika ponownego próbkowania zyskała większą popularność …

37 hypothesis-testing nonparametric bootstrap permutation-test

2

Zrozumienie parametrów wewnątrz ujemnego rozkładu dwumianowego

Starałam się dopasować swoje dane w różnych modelach i zorientowali się, że fitdistrfunkcja z biblioteki MASSz Rdaje mi Negative Binomialjak najlepszego dopasowania. Teraz ze strony wiki definicja jest podana jako: Rozkład NegBin (r, p) opisuje prawdopodobieństwo k awarii i r sukcesów w próbach k + r Bernoulli (p) z sukcesem …

37 r distributions modeling negative-binomial

5

Analiza szeregów czasowych z walidacją krzyżową

Korzystałem z pakietu Caret w R do budowania modeli predykcyjnych do klasyfikacji i regresji. Caret zapewnia zunifikowany interfejs do dostrajania hiperparametrów modelu poprzez weryfikację krzyżową lub wiązanie rozruchu. Na przykład, jeśli budujesz prosty model „najbliższych sąsiadów” do celów klasyfikacji, ilu sąsiadów powinieneś użyć? 2? 10? 100? Caret pomaga odpowiedzieć na …

37 r time-series cross-validation

2

Jeśli interesująca jest tylko prognoza, po co używać lasso nad grzbietem?

Na stronie 223 we wstępie do nauki statystycznej autorzy podsumowują różnice między regresją grzbietu a lasso. Podają przykład (ryc. 6.9), kiedy „lasso ma tendencję do przewyższania regresji grzbietu pod względem stronniczości, wariancji i MSE”. Rozumiem, dlaczego lasso może być pożądane: skutkuje rzadkimi rozwiązaniami, ponieważ zmniejsza wiele współczynników do 0, co …

37 machine-learning prediction lasso regularization ridge-regression

8

Jaka jest różnica między prognozowaniem a wnioskowaniem?

Czytam poprzez „ Wprowadzenie do uczenia statystycznego ”. W rozdziale 2 omawiają powód oszacowania funkcji .faff 2.1.1 Dlaczego oszacowanie ?faff Są dwa główne powody, dla których możemy chcieć oszacować f : przewidywanie i wnioskowanie . Każdego z nich dyskutujemy. Przeczytałem go kilka razy, ale nadal jestem częściowo niejasny co do …

37 prediction terminology causality

4

Co powinienem zrobić, gdy moja sieć neuronowa nie uogólnia się dobrze?

Trenuję sieć neuronową, a utrata treningu maleje, ale utrata walidacji nie maleje lub zmniejsza się znacznie mniej niż oczekiwałbym, na podstawie referencji lub eksperymentów z bardzo podobnymi architekturami i danymi. Jak mogę to naprawić? Co do pytania Co powinienem zrobić, gdy moja sieć neuronowa się nie uczy? do którego zainspirowano …

37 neural-networks deep-learning

4

Różnica między „jądrem” a „filtrem” w CNN

Jaka jest różnica między terminami „jądro” i „filtr” w kontekście splotowych sieci neuronowych?

37 neural-networks terminology deep-learning conv-neural-network

1

Dlaczego test Mantela jest lepszy od testu Morana?

Test Mantela jest szeroko stosowany w badaniach biologicznych w celu zbadania korelacji między rozkładem przestrzennym zwierząt (pozycja w przestrzeni) z, na przykład, ich genetycznym spokrewnieniem, szybkością agresji lub innymi atrybutami. Korzysta z niego wiele dobrych czasopism ( PNAS, Animal Behavior, Molecular Ecology ... ). Sfabrykowałem kilka wzorów, które mogą występować …

37 r correlation spatial pattern-recognition

1

Jakie są łatwe do zinterpretowania miary dopasowania do liniowych modeli efektów mieszanych?

Obecnie używam pakietu R. lme4 . Używam liniowych modeli efektów mieszanych z efektami losowymi: library(lme4) mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + # random effects mod3 <- lmer(r1 …

37 r regression mixed-model random-effects-model

2

Kto wynalazł stochastyczne zejście gradientu?

Staram się zrozumieć historię zejścia gradientowego i stochastycznego . Gradientowe zejście zostało wynalezione w Cauchy w 1847 roku. Méthode générale pour la résolution des systèmes d'équations symultanes . str. 536–538 Więcej informacji na ten temat można znaleźć tutaj . Od tego czasu metody zejścia gradientowego ciągle się rozwijają i nie …

36 references gradient-descent history sgd

5

Jak poradzić sobie z modelem prognostycznym „samobójczym”?

Oglądałem prezentację specjalisty ds. ML od jednego z głównych sprzedawców detalicznych, gdzie opracowali model pozwalający przewidywać zdarzenia z magazynu. Załóżmy przez chwilę, że z czasem ich model staje się bardzo dokładny, czy nie byłoby to w jakiś sposób „samobójcze”? Oznacza to, że jeśli model naprawdę działa dobrze, będą w stanie …

36 machine-learning predictive-models