Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Alternatywa rozkładu empirycznego
HOJNOŚĆ: Pełne nagroda zostanie przyznana osobie, która stanowi odniesienie do wszelkich opublikowanych papieru, który używa lub wymienia prognozy F~F~\tilde{F} poniżej. Motywacja: Ta sekcja prawdopodobnie nie jest dla ciebie ważna i podejrzewam, że nie pomoże ci zdobyć nagrody, ale ponieważ ktoś zapytał o motywację, oto nad czym pracuję. Pracuję nad problemem …
2
Warunkowe oczekiwanie wykładniczej zmiennej losowej
W przypadku zmiennej losowej ( ) Intuicyjnie czuję, że powinno być równe ponieważ według właściwości bez pamięci rozkład jest taki sam jak ale przesunięty w prawo o .X∼Exp(λ)X∼Exp(λ)X\sim \text{Exp}(\lambda)E[X]=1λE[X]=1λ\mathbb{E}[X] = \frac{1}{\lambda}E[X|X>x]E[X|X>x]\mathbb{E}[X|X > x]x+E[X]x+E[X]x + \mathbb{E}[X]X|X>xX|X>xX|X > xXXXxxx Jednak staram się użyć właściwości bez pamięci, aby dać konkretny dowód. Każda pomoc …
1
Entropia różnicowa
Entropia różniczkowa RV Gaussa to . Zależy to od , który jest odchyleniem standardowym.σlog2)( σ2 πmi---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jeśli znormalizujemy zmienną losową, aby miała wariancję jednostkową, jej entropia różnicowa spadnie. Dla mnie jest to sprzeczne z intuicją, ponieważ złożoność stałej normalizacyjnej Kołmogorowa powinna być bardzo mała w porównaniu ze zmniejszeniem …
1
Jakie są różnice między analizą przeżycia a regresją Poissona?
Pracuję nad klasycznym problemem przewidywania rezygnacji, wykorzystując liczbę odwiedzin danego użytkownika na stronie i pomyślałem, że regresja Poissona jest właściwym narzędziem do modelowania przyszłego zaangażowania tego użytkownika. Kiedy wtedy natknąłem się na książkę o analizie przeżycia i modelowaniu zagrożeń i nie wiem, która technika jest najlepsza. Nie chcę jednocześnie badać …
1
Jak wygenerować przewidywane krzywe przeżycia na podstawie słabych modeli (przy użyciu R coxph)?
Chcę obliczyć przewidywaną funkcję przeżycia dla proporcjonalnego modelu zagrożeń Coxa z terminami kruchymi [przy użyciu pakietu przeżycia]. Wydaje się, że gdy w modelu występują słabe terminy, nie można obliczyć przewidywanej funkcji przeżycia. ## Example require(survival) data(rats) ## Create fake weight set.seed(90989) rats$weight<-runif(nrow(rats),0.2,0.9) ## Cox model with gamma frailty on litter …
1
Porównaj dwie krzywe przeżycia dla sparowanych danych
Chcę porównać dwie różne metody wykrywania zmiany statusu w analizie przeżycia. Grupa badanych jest obserwowana przez dłuższy okres (wiele lat) i zastosowano dwie metody badania w celu sprawdzenia, czy nastąpiła zmiana statusu; jedną metodę zastosowano do zbadania każdego przedmiotu dwa razy w roku, a drugą metodę zastosowano do zbadania każdego …
3
Nieujemna implementacja lasso w R.
Szukam jakiegoś open source lub istniejącej biblioteki, której mogę użyć. O ile mówię, pakiet glmnet nie jest łatwo rozszerzalny, aby objąć przypadek nieujemny. Mogę się mylić, każdy z wszelkimi pomysłami bardzo cenionymi. Przez nieujemne rozumiem, że wszystkie współczynniki są ograniczone do dodatnich (> 0).
13 r  lasso 
3
Jak poradzić sobie z niestabilnymi oszacowaniami
Stabilność beta w regresji liniowej z wysoką wielokolinearnością? Powiedzmy, że w regresji liniowej zmienne i mają wysoką wielokoliniowość (korelacja wynosi około 0,9).x 2x1x1x_1x2)x2x_2 Jesteśmy zaniepokojony stabilności współczynnika więc musimy traktować multi-kolinearność.ββ\beta Rozwiązaniem podręcznika byłoby po prostu wyrzucenie jednej ze zmiennych. Ale nie chcemy stracić przydatnych informacji, po prostu wyrzucając zmienne. …
4
Różnice szeregów czasowych przed Arimą lub w Arimie
Czy lepiej jest różnicować serię (zakładając, że jej potrzebuje) przed użyciem Arima LUB lepiej użyć parametru d w Arimie? Byłem zaskoczony, jak różne są dopasowane wartości w zależności od tego, którą trasę wybrał ten sam model i dane. Czy robię coś niepoprawnie? install.packages("forecast") library(forecast) wineindT<-window(wineind, start=c(1987,1), end=c(1994,8)) wineindT_diff <-diff(wineindT) #coefficients …
13 r  time-series  arima 
2
W jaki sposób sprawdzić, czy próbki dwóch rozkładów wielowymiarowych są pobierane z tej samej populacji podstawowej?
Powiedzmy, że otrzymujesz dwa wielowymiarowe zestawy danych, powiedzmy stary i nowy, i że powinny być one wygenerowane przez ten sam proces (dla którego nie masz modelu), ale być może gdzieś wzdłuż linii zbierania / tworzenia dane, coś poszło nie tak. Nie chcesz używać nowych danych jako, powiedzmy, zestawu sprawdzającego poprawność …
1
Dlaczego podniesienie kwadratu
To może być podstawowe pytanie, ale zastanawiałem się, dlaczego wartość w modelu regresji może być po prostu podniesiona do kwadratu, aby uzyskać wartość wyjaśnionej wariancji?RRR Rozumiem, że współczynnik może dać siłę związku, ale nie rozumiem, jak proste podniesienie tej wartości do kwadratu daje miarę wyjaśnionej wariancji.RRR Jakieś proste wytłumaczenie tego? …
2
Po co używać rozkładu beta parametru Bernoulliego do hierarchicznej regresji logistycznej?
Obecnie czytam doskonałą książkę Kruschke „Doing Bayesian Data Analysis”. Jednak rozdział dotyczący hierarchicznej regresji logistycznej (rozdział 20) jest nieco mylący. Rysunek 20.2 opisuje hierarchiczną regresję logistyczną, w której parametr Bernoulliego jest zdefiniowany jako funkcja liniowa współczynników przekształconych przez funkcję sigmoidalną. Wydaje się, że jest to sposób hierarchicznej regresji logistycznej w …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.