Statystyki i duże zbiory danych

2

Test poprawności dopasowania: pytanie o test Andersona – Darlinga i kryterium Craméra – von Misesa

Czytam strony internetowe pod kątem testów dopasowania, kiedy doszedłem do testu Andersona – Darlinga i kryterium Craméra – von Misesa . Do tej pory mam rację; wydaje się, że test Andersona – Darlinga i kryterium Craméra – von Misesa są podobne, tylko oparte na innej funkcji wagowej . Istnieje również …

10 goodness-of-fit anderson-darling

1

Dlaczego statystycy nie wykorzystują wzajemnych informacji jako miary powiązania?

Widziałem kilka rozmów niestatystów, w których wydaje się, że na nowo opracowują miary korelacji przy użyciu wzajemnej informacji zamiast regresji (lub równoważnych / ściśle powiązanych testów statystycznych). Rozumiem, że istnieje dobry powód, dla którego statystycy nie przyjmują takiego podejścia. Rozumiem przez laika, że estymatory entropii / wzajemnej informacji bywają problematyczne …

10 correlation mutual-information

3

Ważona regresja uogólniona w BŁĘDACH, JAGACH

W R„uprzedniej wadze” możemy glmregresję za pomocą parametru wag . Na przykład: glm.D93 <- glm(counts ~ outcome + treatment, family = poisson(), weights=w) Jak można tego dokonać w modelu JAGSlub BUGS? Znalazłem jakiś artykuł na ten temat, ale żaden z nich nie stanowi przykładu. Interesują mnie głównie przykłady Poissona i …

10 bayesian generalized-linear-model jags bugs weighted-regression

4

Czy w tym przypadku regresja x na y jest wyraźnie lepsza niż y na x?

Przyrząd używany do pomiaru poziomu glukozy we krwi osoby jest monitorowany na losowej próbce 10 osób. Poziomy są również mierzone przy użyciu bardzo dokładnej procedury laboratoryjnej. Miara przyrządu jest oznaczona przez x. Miarą procedury laboratoryjnej jest y. Osobiście uważam, że y na x jest bardziej poprawne, ponieważ intencją jest wykorzystanie …

10 regression self-study measurement

4

Zbieżność wag sieci neuronowej

Doszedłem do sytuacji, w której wagi mojej sieci neuronowej nie są zbieżne nawet po 500 iteracjach. Moja sieć neuronowa zawiera 1 warstwę wejściową, 1 warstwę ukrytą i 1 warstwę wyjściową. Są to około 230 węzłów w warstwie wejściowej, 9 węzłów w warstwie ukrytej i 1 węzeł wyjściowy w warstwie wyjściowej. …

10 machine-learning neural-networks

3

Czy wyboru funkcji należy dokonywać tylko na danych treningowych (lub wszystkich danych)?

Czy wybór funkcji powinien być wykonywany tylko na danych treningowych (lub wszystkich danych)? Przeszedłem kilka dyskusji i artykułów, takich jak Guyon (2003) i Singhi i Liu (2006) , ale wciąż nie jestem pewien, czy odpowiedź jest prawidłowa. Moja konfiguracja eksperymentu wygląda następująco: Zestaw danych: 50 zdrowych kontroli i 50 pacjentów …

10 dataset cross-validation experiment-design feature-selection

2

Dodanie efektu losowego wpływa na oszacowanie współczynnika

Zawsze uczono mnie, że efekty losowe wpływają tylko na wariancję (błąd), a efekty stałe wpływają tylko na średnią. Ale znalazłem przykład, w którym efekty losowe wpływają również na średnią - oszacowanie współczynnika: require(nlme) set.seed(128) n <- 100 k <- 5 cat <- as.factor(rep(1:k, each = n)) cat_i <- 1:k # …

10 r mixed-model random-effects-model

3

Czy redukcja wymiarów zawsze traci jakieś informacje?

Jak mówi tytuł, czy redukcja wymiarów zawsze traci jakieś informacje? Rozważ na przykład PCA. Jeśli dane, które posiadam, są bardzo rzadkie, zakładam, że można znaleźć „lepsze kodowanie” (czy jest to w jakiś sposób związane z rangą danych?) I nic by nie zostało utracone.

10 pca information-theory information

1

Porównanie rozkładów wydajności uogólnienia

Powiedz, że mam dwie metody uczenia się dla problemu klasyfikacji , i , i że oceniam ich wydajność uogólniającą za pomocą czegoś takiego jak wielokrotne sprawdzanie poprawności lub ładowanie początkowe. Z tego procesu otrzymuję rozkład wyników i dla każdej metody w tych powtórzeniach (np. Rozkład wartości ROC AUC dla każdego …

10 cross-validation model-selection

2

Dlaczego trudno jest uwzględnić niepewność w efektach losowych podczas prognozowania z modeli mieszanych?

Istnieje kilka wątków na temat R-sig-ME na temat uzyskiwania przedziałów ufności dla prognoz przy użyciu lme4iw nlmeR. Na przykład tutaj i tutaj w 2010 r., W tym komentarz Dougalsa Batesa, jednego z autorów obu pakietów. Waham się, by zacytować go dosłownie, z obawy, że zostaną wyjęci z kontekstu, ale tak …

10 mixed-model

1

korekta wartości p dla statystyki Local Moran's I (LISA)

Pracuję z eksploracyjną analizą przestrzenną w R przy użyciu pakietu spdep. Natknąłem się na opcję dostosowania wartości p lokalnych wskaźników asocjacji przestrzennej (LISA) obliczonych za pomocą localmoranfunkcji. Według dokumentów ma to na celu: ... korekta wartości prawdopodobieństwa dla wielu testów. W dalszej części dokumentacji p.adjustSPczytam, że dostępne opcje to: Metody …

10 r multiple-comparisons bonferroni

2

Badanie macierzy wykresów punktowych dla wielu zmiennych

Analizuję zestaw danych z wieloma parametrami (powiedzmy 50-200) i jestem zainteresowany spojrzeniem na relacje między zmiennymi (np. Pod względem wykresów rozproszenia 2 zmiennych lub histogramów 2d). Jednak dla tej liczby parametrów wydaje się niewykonalne narysowanie tablicy o wymiarach 200 x 200 (chyba że wydrukuję ją i powiesię na ścianie). Z …

10 correlation data-visualization multivariate-analysis scatterplot

1

Co sprawia, że nierówność Hoeffdinga jest ważną koncepcją statystyczną?

Na swoim blogu Larry Wasserman ma post o tym, co planował opisać w swoim kursie zeszłej jesieni. Zauważa, że porzucił niektóre klasyczne tematy na rzecz bardziej nowoczesnych zagadnień. Jednym z poruszanych przez niego tematów jest nierówność Hoeffdinga. Co sprawia, że ten wynik jest szczególnie ważny dla studentów i praktyków?

10 probability-inequalities

3

Model wielopoziomowy a osobne modele dla każdego poziomu

Jakie są zalety i wady uruchamiania osobnych modeli w porównaniu z modelowaniem wielopoziomowym? W szczególności załóżmy, że w badaniu przebadano pacjentów zagnieżdżonych w gabinetach lekarskich zagnieżdżonych w poszczególnych krajach. Jakie są zalety / wady prowadzenia osobnych modeli dla każdego kraju w porównaniu z trójpoziomowym modelem zagnieżdżonym?

10 multilevel-analysis stratification

3

Jakie są przyczyny statystyczne definiowania wskaźnika BMI jako masy / wzrostu

Może to pytanie ma odpowiedź w medycynie, ale czy istnieją jakieś statystyczne powody, dla których wskaźnik BMI jest obliczany jako ? Dlaczego nie na przykład waga / wzrost ? Mój pierwszy pomysł jest taki, że ma to coś wspólnego z regresją kwadratową.waga / wzrost2)waga/wysokość2)\text{weight}/\text{height}^2waga / wzrostwaga/wysokość\text{weight}/\text{height} Próbka rzeczywistych danych (200 …

10 biostatistics