Statystyki i duże zbiory danych

3

Jakie są opcje w modelu proporcjonalnej regresji hazardu, gdy resztki Schoenfelda nie są dobre?

Robię regresję proporcjonalną hazardu Coxa przy użyciu R coxph, która obejmuje wiele zmiennych. Resztki Martingale wyglądają świetnie, a reszty Schoenfelda są świetne dla PRAWIE wszystkich zmiennych. Istnieją trzy zmienne, których reszty Schoenfelda nie są płaskie, a charakter zmiennych jest taki, że ma sens, że mogą się zmieniać w czasie. Są …

15 r model cox-model hazard schoenfeld-residuals

2

Średnia (wyniki) vs wynik (konkatenacja) w walidacji krzyżowej

TLDR: Mój zestaw danych to dość małe (120) próbki. Czy podczas 10-krotnej weryfikacji krzyżowej powinienem: Zbierać wyniki z każdego testu, połączyć je w wektor, a następnie obliczyć błąd na tym pełnym wektorze prognoz (120 próbek)? Czy powinienem zamiast tego obliczyć błąd na wyjściach, które otrzymuję przy każdej fałdzie (z 12 …

15 classification cross-validation small-sample

2

Czy zasada obojętności dotyczy paradoksu Borela-Kołmogorowa?

Rozważ rozwiązanie Jaynesa w paradoksie Bertranda, stosując zasadę obojętności . Dlaczego podobny argument nie dotyczy paradoksu Borela-Kołmogorowa ? Czy jest coś złego w argumentowaniu, że ponieważ problem nie określa orientacji kuli, obrócenie kuli nie powinno wpływać na wynikowy rozkład osiągnięty przez wybrany proces ograniczania?

15 theory paradox

3

Termin kwadratowy lub interakcyjny jest znaczący w oderwaniu, ale żaden z nich nie jest razem

W ramach zadania musiałem dopasować model do dwóch zmiennych predykcyjnych. Następnie musiałem narysować wykres reszt modelu w oparciu o jeden z zawartych predyktorów i na tej podstawie dokonać zmian. Na wykresie pokazano trend krzywoliniowy, dlatego włączyłem kwadratowy termin dla tego predyktora. Nowy model pokazał, że kwadrat jest znaczący. Jak dotąd …

15 statistical-significance multiple-regression modeling

3

Co to jest mieszanie danych?

Termin ten pojawia się często w wątkach związanych z metodą . Czy łączenie określonej metody w eksploracji danych i uczeniu statystycznym? Nie mogę uzyskać odpowiedniego wyniku z Google. Wydaje się, że łączenie miesza wyniki z wielu modeli i daje lepszy wynik. Czy jest jakiś zasób, który pomaga mi dowiedzieć się …

15 machine-learning data-mining unsupervised-learning statistical-learning

3

Zautomatyzowana procedura wyboru podzbioru punktów danych z najsilniejszą korelacją?

Czy istnieje jakaś standardowa procedura (taka, że można ją przytoczyć jako odniesienie) do wybierania podzbioru punktów danych z większej puli o największej korelacji (tylko w dwóch wymiarach)? Załóżmy na przykład, że masz 100 punktów danych. Potrzebujesz podzbioru 40 punktów o najsilniejszej możliwej korelacji wzdłuż wymiarów X i Y. Zdaję sobie …

15 regression correlation autocorrelation

3

Definicja i pochodzenie „entropii krzyżowej”

Nie powołując się na źródła Wikipedia określa przekrój entropia dyskretnych rozkładów i Q sięPPPQQQ H×(P;Q)=−∑xp(x)logq(x).H×(P;Q)=−∑xp(x)log⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Kto pierwszy zaczął używać tej ilości? A kto wynalazł ten termin? Zajrzałem do: JE Shore i RW Johnson, „Aksjomatyczne wyprowadzenie zasady maksymalnej entropii i zasady minimalnej entropii …

15 information-theory entropy

3

Zamieszanie w sprawie kiedy należy używać

Odniosłem się do tego wykładu wideo w celu obliczenia przedziału ufności . Mam jednak pewne zamieszanie. Ten facet jest za pomocą -statistics do obliczeń. Myślę jednak, że powinna to być statystyka typu . Nie podano nam prawdziwego odchylenia standardowego populacji. Używamy przykładowego odchylenia standardowego do oszacowania rzeczywistego.zzzttt Dlaczego więc wziął …

15 confidence-interval t-distribution

1

Dlaczego szacunki współczynnika regresji rlm () różnią się od lm () w R?

Korzystam z rlm w pakiecie R MASS do regresji wielowymiarowego modelu liniowego. Działa dobrze dla wielu próbek, ale otrzymuję quasi-zerowe współczynniki dla konkretnego modelu: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = na.omit) Residuals: Min 1Q Median 3Q …

15 r multiple-regression robust

2

Wygeneruj trzy skorelowane równomiernie rozmieszczone zmienne losowe

Załóżmy, że mamy X 2 ∼ unif ( n , 0 , 1 ) ,X1∼unif(n,0,1),X1∼unif(n,0,1),X_1 \sim \textrm{unif}(n,0,1), X2∼unif(n,0,1),X2∼unif(n,0,1),X_2 \sim \textrm{unif}(n,0,1), gdzie jest jednorodną losową próbką o wielkości n, iunif(n,0,1)unif(n,0,1)\textrm{unif}(n,0,1) Y=X1,Y=X1,Y=X_1, Z=0.4X1+1−0.4−−−−−−√X2.Z=0.4X1+1−0.4X2.Z = 0.4 X_1 + \sqrt{1 - 0.4}X_2. Zatem korelacja między i Z wynosi 0,4 .YYYZZZ0.40.40.4 Jak mogę to rozszerzyć …

15 r correlation random-generation uniform

4

Jak sprawdzić, czy strona pokerowa online jest uczciwa?

W zeszłym tygodniu odbyłem interesującą dyskusję z moim dobrym przyjacielem. Grał w pokera online i zasugerował, że istnieje związek między nową subskrypcją / dodatkowym transferem pieniędzy a kartami, które otrzymujesz, tj. Masz dobre karty, które można uzależnić. Witryny prawdopodobnie byłyby bardzo ryzykowne, gdyby to była prawda, ale problem wciąż mnie …

15 binomial games wilcoxon-signed-rank

2

Wykrywanie szeregów czasowych i anomalii

Chciałbym skonfigurować algorytm do wykrywania anomalii w szeregach czasowych i planuję użyć do tego klastrowania. Dlaczego powinienem używać macierzy odległości do grupowania, a nie surowych danych szeregów czasowych ?, Do wykrycia anomalii użyję klastrowania opartego na gęstości, algorytmu jako DBscan, więc czy to zadziała w tym przypadku? Czy jest dostępna …

15 time-series clustering trend

2

Łączenie klasyfikatorów poprzez rzut monetą

Studiuję kurs uczenia maszynowego, a slajdy z wykładami zawierają informacje, które uważam za sprzeczne z zalecaną książką. Problem jest następujący: istnieją trzy klasyfikatory: klasyfikator A zapewniający lepszą wydajność w dolnym zakresie progów, klasyfikator B zapewniający lepszą wydajność w wyższym zakresie progów, klasyfikator C to, co otrzymujemy, przerzucając monetę p i …

15 machine-learning probability data-visualization classification roc

2

Jak przetestować efekt zmiennej grupującej za pomocą modelu nieliniowego?

Mam pytanie dotyczące zastosowania zmiennej grupującej w modelu nieliniowym. Ponieważ funkcja nls () nie zezwala na zmienne czynnikowe, starałam się dowiedzieć, czy można przetestować wpływ czynnika na dopasowanie modelu. Poniżej zamieściłem przykład, w którym chcę dopasować „sezonowy sezon von Bertalanffy'ego” do różnych metod leczenia wzrostu (najczęściej stosowanych do wzrostu ryb). …

15 r mixed-model nls

1

Kiedy / gdzie zastosować funkcjonalną analizę danych?

Jestem bardzo nowy w funkcjonalnej analizie danych (FDA). Czytam: Ramsay, James O. i Silverman, Bernard W. (2006), Functional Data Analysis, 2. wyd., Springer, New York. Jednak nadal nie jestem bardzo jasne, gdzie / kiedy stosować FDA? Czy ktoś mógłby mi podać przykład szczególnie w badaniach medycznych? Naprawdę nie wiem, gdzie …

15 statistical-significance cross-validation nonparametric