Statystyki i duże zbiory danych

3

Regresja liniowa, co mówi nam statystyka F, kwadrat R i resztkowy błąd standardowy?

Jestem naprawdę zdezorientowany co do różnicy znaczenia w kontekście regresji liniowej następujących terminów: Statystyka F. R do kwadratu Błąd resztkowy standardowy Znalazłem tę stronę internetową, która dała mi świetny wgląd w różne terminy związane z regresją liniową, jednak wspomniane wyżej terminy wyglądają całkiem sporo (o ile rozumiem). Przytoczę to, co …

14 linear-model nonlinear-regression linear f-statistic

1

Interwał przewidywania dla losowej zmiennej dwumianowej

Jaka jest formuła (przybliżona lub dokładna) przedziału predykcji dla losowej zmiennej dwumianowej? Załóżmy, że , i obserwujemy y (na podstawie Y ). N jest znana.Y∼ B i n o m ( n , p )Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p)yyyYYYnnn Naszym celem jest uzyskanie 95% przedział predykcji dla nowego czerpać z .YYY …

14 confidence-interval binomial prediction-interval

3

Dlaczego / czy (?) Statystyczne próbkowanie powinno działać w polityce (np. Gallup)?

Ankiety tam (powiedzmy, Gallup) próbują absurdalnie małej liczby osób w porównaniu do wielkości populacji (np. Może tysiąc osób na setki milionów). Teraz, dla mnie, próbkowanie populacji jako sposób oszacowania statystyk populacji ma sens, gdy masz silny powód, by sądzić, że próbki są reprezentatywne dla populacji (lub, podobnie, innych próbek ) …

14 sampling sample-size

2

Jaka jest formuła skorygowanej wartości p Benjaminiego-Hochberga?

Rozumiem procedurę i to, co kontroluje. Jaki jest zatem wzór skorygowanej wartości p w procedurze BH dla wielokrotnych porównań? Właśnie teraz zdałem sobie sprawę, że pierwotny BH nie wytworzył skorygowanych wartości p, a jedynie dostosował warunek (nie) odrzucenia: https://www.jstor.org/stable/2346101 . Gordon Smyth wprowadził skorygowane wartości p BH w 2002 r., …

14 hypothesis-testing p-value multiple-comparisons false-discovery-rate

2

Jakie jest pochodzenie sieci neuronowych autokodera?

Szukałem w Google, Wikipedii, Google Scholar i innych, ale nie mogłem znaleźć źródła Autoencoderów. Być może jest to jedna z tych koncepcji, które ewoluowały bardzo stopniowo i nie można prześledzić wyraźnego punktu wyjścia, ale nadal chciałbym znaleźć jakieś podsumowanie głównych etapów ich rozwoju. Rozdział o autoencoders w Ian Goodfellow, Yoshua …

14 neural-networks autoencoders history

4

Interwały prognoz dla algorytmów uczenia maszynowego

Chcę wiedzieć, czy opisany poniżej proces jest prawidłowy / akceptowalny i czy dostępne jest jakiekolwiek uzasadnienie. Pomysł: nadzorowane algorytmy uczenia się nie zakładają podstawowych struktur / dystrybucji danych. Na koniec dnia przedstawiają szacunkowe dane wyjściowe. Mam nadzieję, że jakoś oszacuję niepewność tych szacunków. Teraz proces budowania modelu ML jest z …

14 machine-learning confidence-interval bootstrap supervised-learning gbm

2

znaczenie (x) operatora?

Wszędzie widziałem operatora w jakimś przeglądzie literatury na temat przyczynowości (patrz, na przykład, ten wpis na Wikipedii ). Nie mogę jednak znaleźć formalnej i ogólnej definicji tego operatora.do(x)do(x)do(x) Czy ktoś może wskazać mi dobre odniesienie w tej sprawie? Interesuje mnie ogólna definicja, a nie jej interpretacja w konkretnym eksperymencie.

14 references causality definition

1

Test Kołmogorowa – Smirnowa a test t

Mam pewne trudności ze zrozumieniem interpretacji testu 2 próbek KS i tego, jak różni się on od zwykłego testu t między 2 grupami. Powiedzmy, że mam mężczyzn i kobiety wykonujących pewne zadania i zbieram wyniki z tego zadania. Moim ostatecznym celem jest ustalenie, czy mężczyźni i kobiety wykonują inaczej w …

14 distributions t-test interpretation kolmogorov-smirnov

3

Jak modelować podłużne duże zbiory danych?

Tradycyjnie używamy modelu mieszanego do modelowania danych podłużnych, tj. Danych takich jak: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 możemy przyjąć losowe przechwytywanie lub nachylenie dla różnych …

14 machine-learning data-transformation random-forest panel-data large-data

1

Uogólnione biblioteki modeli addytywnych w języku Python

Wiem, że R ma biblioteki gam i mgcv dla uogólnionych modeli addytywnych. Mam jednak trudności ze znalezieniem ich odpowiedników w ekosystemie Python (statsmodels ma tylko prototyp w piaskownicy). Czy ktoś wie o istniejących bibliotekach Python? Kto wie, że może to być dobry projekt do opracowania / przyczynienia się do scikit-learn, …

14 gam

3

Jak znaleźć współczynniki regresji w regresji kalenicowej?

W regresji grzbietu funkcją celu, którą należy zminimalizować, jest:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Czy można to zoptymalizować za pomocą metody mnożnika Lagrange'a? Czy jest to proste różnicowanie?

14 regression regularization ridge-regression

1

GAM vs LOESS vs splajny

Kontekst : Chcę, aby narysować linię na wykresie rozrzutu, że nie pojawia się parametryczne, dlatego używam geom_smooth()w ggplotw R. Automatycznie zwraca geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method., …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

2

Co to jest próbkowanie Thompsona w kategoriach laika?

Nie jestem w stanie zrozumieć, jak działa Thompson Sampling . Czytałem o Multi Arm Bandit i po przeczytaniu algorytmu Upper Confidence Bound Algorytm wiele tekstów sugerowało, że próbkowanie Thompsona działa lepiej niż UCB. Co to jest próbkowanie Thompsona, w laika lub po prostu? Zapraszam do dostarczenia artykułów referencyjnych w celu …

14 machine-learning definition multiarmed-bandit

4

Jakie są metody statystyczne polecania filmów takich jak Netflix?

Chcę wdrożyć model dynamiczny, aby polecić film użytkownikowi. Zalecenia należy aktualizować za każdym razem, gdy użytkownik ogląda film lub ocenia go. Dla uproszczenia myślę o wzięciu pod uwagę dwóch czynników: wcześniejsze oceny innych filmów użytkownika czas, w którym użytkownik obejrzał niektóre poprzednie filmy Jak skonfigurować taki model i co poleca …

14 machine-learning recommender-system dynamic-regression

3

Czy w GLM prawdopodobieństwo dziennika modelu nasyconego zawsze wynosi zero?

Jako część danych wyjściowych uogólnionego modelu liniowego do oceny modelu wykorzystywane są odchylenie zerowe i rezydualne. Często widzę formuły dla tych wielkości wyrażone jako prawdopodobieństwo dziennika modelu nasyconego, na przykład: /stats//a/113022/22199 , Regresja logistyczna: jak uzyskać model nasycony Model nasycony, o ile rozumiem, jest modelem, który doskonale pasuje do obserwowanej …

14 regression generalized-linear-model deviance log-likelihood