Statystyki i duże zbiory danych

1

Jak mam radzić sobie z paradoksem Borela?

Trochę niepokoi mnie to, jak mentalnie poradziłem sobie z paradoksem Borela i innymi powiązanymi „paradoksami” dotyczącymi prawdopodobieństwa warunkowego. Dla tych, którzy to czytają, ale nie znają tego, zobacz ten link . Do tej pory moja mentalna reakcja polegała głównie na ignorowaniu tego, ponieważ wydaje się, że nikt o tym nie …

17 probability conditional-probability conditional-expectation

3

Jaki jest związek między wartością R-kwadrat a wartością p w regresji?

tl; dr - w przypadku regresji OLS, czy wyższy R-kwadrat oznacza również wyższą wartość P? W szczególności dla jednej zmiennej objaśniającej (Y = a + bX + e), ale chciałbym również wiedzieć o n wielu zmiennych objaśniających (Y = a + b1X + ... bnX + e). Kontekst - Przeprowadzam …

17 regression modeling p-value r-squared

2

Intuicyjne wyjaśnienie okresowości w łańcuchach Markowa

Czy ktoś może mi wyjaśnić intuicyjnie, jaka jest częstotliwość łańcucha Markowa? Jest on zdefiniowany w następujący sposób: Dla wszystkich stanów iii w SSS didid_i = gcd{n∈N|p(n)ii>0}=1{n∈N|pii(n)>0}=1\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1 Dziękuję za Twój wysiłek!

17 stochastic-processes markov-process

3

Dopasowanie rozkładu t w R: parametr skalowania

Jak dopasować parametry rozkładu t, tj. Parametry odpowiadające „średniej” i „odchyleniu standardowemu” rozkładu normalnego. Zakładam, że są one nazywane „średnimi” i „skalowaniem / stopniami swobody” dla rozkładu t? Poniższy kod często powoduje błędy „nieudana optymalizacja”. library(MASS) fitdistr(x, "t") Czy najpierw muszę skalować x, czy przeliczać na prawdopodobieństwa? Jak najlepiej to …

17 r distributions maximum-likelihood fitting robust

5

Dlaczego k-znaczy nie daje globalnego minimum?

Czytałem, że algorytm k-średnich jest zbieżny tylko z lokalnym minimum, a nie globalnym minimum. Dlaczego to? Mogę logicznie myśleć o tym, w jaki sposób inicjalizacja mogłaby wpłynąć na końcowe grupowanie i istnieje możliwość nieoptymalnego grupowania, ale nie znalazłem niczego, co matematycznie to udowodni. Ponadto, dlaczego k-oznacza proces iteracyjny? Czy nie …

17 clustering k-means convergence gradient-descent minimum

1

Jak zinterpretować wynik prognozy.coxph?

Po dopasowaniu modelu koxmodelu możliwe jest przewidywanie i wyszukiwanie względnego ryzyka nowych danych. Nie rozumiem, w jaki sposób obliczane jest ryzyko względne dla osoby i do czego jest ono powiązane (tj. Średnia populacji)? Wszelkie zalecenia dotyczące zasobów, które pomogą zrozumieć (nie jestem bardzo zaawansowany w analizie przeżycia, więc im prościej, …

17 predictive-models relative-risk cox-model

1

Związek między funkcją generującą moment a funkcją charakterystyczną

Próbuję zrozumieć związek między funkcją generującą moment a funkcją charakterystyczną. Funkcja generowania momentu jest zdefiniowana jako: MX(t)=E(exp(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n!MX(t)=E(exp⁡(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n! M_X(t) = E(\exp(tX)) = 1 + \frac{t E(X)}{1} + \frac{t^2 E(X^2)}{2!} + \dots + \frac{t^n E(X^n)}{n!} Wykorzystanie rozszerzenia szeregowego , Mogę znaleźć wszystkie momenty rozkładu dla zmiennej losowej X.exp(tX)=∑∞0(t)n⋅Xnn!exp⁡(tX)=∑0∞(t)n⋅Xnn!\exp(tX) = \sum_0^{\infty} \frac{(t)^n \cdot …

17 probability moments mgf method-of-moments characteristic-function

1

Współczynnik ujemny w uporządkowanej regresji logistycznej

Załóżmy, że mamy porządkową odpowiedź y:{Bad, Neutral, Good}→{1,2,3}y:{Bad, Neutral, Good}→{1,2,3}y:\{\text{Bad, Neutral, Good}\} \rightarrow \{1,2,3\} i zbiór zmiennych X:=[x1,x2,x3]X:=[x1,x2,x3]X:=[x_1,x_2,x_3] który naszym zdaniem wyjaśni yyy . Następnie wykonujemy uporządkowaną regresję logistyczną XXX (macierz projektowa) na yyy (odpowiedź). Załóżmy, że szacowany współczynnik x1x1x_1 , to nazwać p 1 , w uporządkowane regresji logistycznej …

17 logit odds-ratio ordered-logit

8

Jak interpolacja jest związana z pojęciem regresji?

Wyjaśnij krótko Co należy rozumieć przez interpolację. Jak wiąże się to z pojęciem regresji? interpolacja to sztuka czytania między wierszami tabeli, a w matematyce elementarnej termin ten zwykle oznacza proces obliczania wartości pośrednich funkcji z zestawu danych lub tabelarycznych wartości tej funkcji. Nie mogę udzielić odpowiedzi na drugie pytanie. Proszę …

17 regression self-study interpolation

3

Jak działa standardowy błąd?

Ostatnio przyglądałem się wewnętrznym działaniom standardowego błędu i nie byłem w stanie zrozumieć, jak to działa. Rozumiem błąd standardowy, ponieważ jest to standardowe odchylenie rozkładu średnich próbek. Moje pytania to: • skąd wiemy, że błąd standardowy oznacza odchylenie standardowe próbki, gdy zwykle pobieramy tylko jedną próbkę? • dlaczego równanie do …

17 standard-error

2

Wsteczna transformacja współczynników regresji

Wykonuję regresję liniową z transformowaną zmienną zależną. Dokonano następującej transformacji, aby utrzymać założenie normalności reszt. Nietransformowana zmienna zależna została ujemnie wypaczona, a następująca transformacja zbliżyła ją do normy: Y=50−Yorig−−−−−−−−√Y=50−YorigY=\sqrt{50-Y_{orig}} gdzie jest zmienną zależną w oryginalnej skali.YorigYorigY_{orig} Myślę, że warto zastosować transformację współczynników aby wrócić do oryginalnej skali. Używając następującego równania …

17 regression data-transformation

1

Jak wybierać między ANOVA i ANCOVA w zaprojektowanym eksperymencie?

Przeprowadzam eksperyment, który obejmuje: DV: Zużycie plastra (ciągłe lub może być kategoryczne) IV: Zdrowa wiadomość, niezdrowa wiadomość, brak wiadomości (kontrola) (3 grupy, w których ludzie są losowo przydzielani - kategorycznie) Jest to zmanipulowana wiadomość o zdrowiu plasterka. Następujące wartości IV można uznać za indywidualne zmienne różnicowe: Impulsywność (może być kategoryczna, …

17 anova multiple-regression continuous-data ancova

1

Dlaczego zakładamy, że błąd jest zwykle dystrybuowany?

Zastanawiam się, dlaczego używamy założenia Gaussa podczas modelowania błędu. Na kursie ML Stanforda prof. Ng opisuje to zasadniczo na dwa sposoby: Jest to matematycznie wygodne. (Jest to związane z dopasowaniem najmniejszych kwadratów i łatwe do rozwiązania za pomocą pseudoinwersji) Ze względu na centralne twierdzenie graniczne możemy założyć, że istnieje wiele …

17 regression normality-assumption pac-learning

5

Jak określić rozkład logarytmiczny w argumencie rodziny glm w R?

Proste pytanie: jak określić rozkład logarytmiczny w argumencie rodziny GLM w R? Nie mogłem znaleźć sposobu, w jaki można to osiągnąć. Dlaczego lognormalna (lub wykładnicza) nie jest opcją w argumencie rodzinnym? Gdzieś w Archiwum R czytałem, że po prostu trzeba użyć linku logu dla rodziny ustawionej na gaussian w GLM, …

17 r distributions generalized-linear-model lognormal

1

Konwencje notacji zmiennych losowych i ich rozkłady

Mylę się co do prawidłowych oznaczeń znaczeń, a także znaczeń niektórych zapisów dotyczących zmiennych losowych i ich rozkładów. Poniżej wymienię rzeczy, które moim zdaniem są prawdziwe, a także rzeczy, których nie rozumiem i chciałbym wprowadzić / wprowadzić poprawki. Dla ułatwienia odsyłam do każdego punktu / pytania numer. Jeśli wyszczególnienie pozycji …

17 probability random-variable