Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

3
Jakie są problemy ze stosowaniem wyniku procentowego w regresji liniowej?
Mam badanie, w którym reprezentowanych jest wiele wyników, takich jak procenty, i używam wielu regresji liniowych, aby ocenić wpływ niektórych zmiennych kategorialnych na te wyniki. Zastanawiałem się, skoro regresja liniowa zakłada, że ​​wynikiem jest rozkład ciągły, czy istnieją problemy metodologiczne przy stosowaniu takiego modelu do wartości procentowych, które są ograniczone …
1
Przykłady błędnego zastosowania twierdzenia Bayesa
To pytanie społecznościowe dotyczące przepełnienia matematyki zawierało „przykłady złych argumentów, które dotyczą zastosowania twierdzeń matematycznych w kontekstach niematematycznych”, i stworzyło fascynującą listę patologicznie stosowanej matematyki. Zastanawiam się nad podobnymi przykładami patologicznego zastosowania wnioskowania bayesowskiego. Czy ktoś napotkał artykuły naukowe, ekscentryczne posty na blogach, które używają metod bayesowskich w szalony sposób.
11 bayesian 
2
O co chodzi z uczeniem maszynowym w praktyce?
Jestem nowicjuszem w uczeniu maszynowym (także niektóre statystyki), od dłuższego czasu uczę się wiedzy (algorytmy uczenia nadzorowanego / bez nadzoru, odpowiednie metody optymalizacji, regularyzacje, niektóre filozofie (takie jak kompromis odchylenie biasu?). Wiem, że bez prawdziwej praktyki nie uzyskałbym głębokiego zrozumienia tych rzeczy związanych z uczeniem maszynowym. Zacznę więc od pewnego …
1
Dopasowane wartości modelu ARMA
Próbuję zrozumieć, w jaki sposób obliczane są dopasowane wartości dla modeli ARMA (p, q). Znalazłem już pytanie dotyczące dopasowanych wartości procesów ARMA, ale nie byłem w stanie tego zrozumieć. Jeśli mam model ARMA (1,1), tj Xt=α1Xt−1+ϵt−β1ϵt−1Xt=α1Xt−1+ϵt−β1ϵt−1X_t = \alpha_1X_{t-1}+\epsilon_t - \beta_1 \epsilon_{t-1} i otrzymałem (stacjonarny) szereg czasowy, mogę oszacować parametry. Jak …
11 arma 
2
Model losowego przechwytywania vs. GEE
Rozważ losowy model liniowy przechwytujący. Jest to równoważne z regresją liniową GEE z wymienną działającą macierzą korelacji. Załóżmy, że predyktorami są i a współczynniki dla tych predyktorów to , i . Jaka jest interpretacja współczynników w modelu przechwytywania losowego? Czy jest to to samo, co regresja liniowa GEE, tyle że …
3
Przyszłość statystyki
To pytanie przyszło mi do głowy, kiedy siedziałem na publicznym wykładzie na temat nierozwiązanych pytań w matematyce. Powszechnie wiadomo, że wciąż istnieje wiele nierozwiązanych pytań matematycznych. Sprawiło, że pomyślałem o nierozwiązanych problemach w statystyce. Po spędzeniu czasu na wyszukiwaniu go w tym temacie nie sądzę, aby istniała stosunkowo szczegółowa dyskusja …
1
Co jeśli prawdopodobieństwo nie jest równe w „Regule .632?”
To pytanie pochodzi od tego, które dotyczy „Reguły .632”. Piszę ze szczególnym uwzględnieniem odpowiedzi / notacji użytkownika user603 w zakresie, w jakim upraszcza to sprawę. Ta odpowiedź zaczyna się od próbki o wielkości z zamianą, z różnych elementów w kolekcji (wywołaj) it N. Prawdopodobieństwo, że próbka jest różna od określonego …
1
Próbkowanie Gibbsa dla modelu Isinga
Pytanie do pracy domowej: Rozważ model 1-d Isinga. Niech . wynosi -1 lub +1x=(x1,...xd)x=(x1,...xd)x = (x_1,...x_d)xixix_i π(x)∝e∑39i=1xixi+1π(x)∝e∑i=139xixi+1\pi(x) \propto e^{\sum_{i=1}^{39}x_ix_{i+1}} Zaprojektuj algorytm próbkowania Gibbs do generowania próbek w przybliżeniu z rozkładu docelowego .π(x)π(x)\pi(x) Moja próba: Losowo wybierz wartości (-1 lub 1), aby wypełnić wektor . Więc może . To jest .x=(x1,...x40)x=(x1,...x40)x …
1
W jaki sposób zmienne instrumentalne uwzględniają błąd selekcji?
Zastanawiam się, jak zmienna instrumentalna rozwiązuje problem selekcji w regresji. Oto przykład, którego żuję: w „W większości nieszkodliwych ekonometriach ” autorzy omawiają regresję IV dotyczącą służby wojskowej i zarobków w późniejszym życiu. Pytanie brzmi: „Czy służenie w wojsku zwiększa, czy zmniejsza przyszłe zarobki?” Badają to pytanie w kontekście wojny w …
1
Czy średnia i wariancja zawsze istnieją dla wykładniczych rozkładów rodzin?
Załóżmy, że losowa zmienna skalarna należy do wykładniczej rodziny wektorowej o formacie pdfXXX fX(x|θ)=h(x)exp(∑i=1sηi(θ)Ti(x)−A(θ))fX(x|θ)=h(x)exp⁡(∑i=1sηi(θ)Ti(x)−A(θ)) f_X(x|\boldsymbol \theta) = h(x) \exp\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) T_i(x) - A({\boldsymbol \theta}) \right) gdzie θ=(θ1,θ2,⋯,θs)Tθ=(θ1,θ2,⋯,θs)T{\boldsymbol \theta} = \left(\theta_1, \theta_2, \cdots, \theta_s \right )^T to wektor parametru, a T(x)=(T1(x),T2(x),⋯,Ts(x))TT(x)=(T1(x),T2(x),⋯,Ts(x))T\mathbf{T}(x)= \left(T_1(x), T_2(x), \cdots,T_s(x) \right)^T to łączna wystarczająca statystyka. Można …
2
Sprawdź poprawność internetowych testów A / B, ponownie uruchamiając eksperyment - czy to jest prawidłowe?
Pewnego dnia podczas webinarium przeprowadzonego przez firmę testującą A / B ich rezydent „Data Scientist” wyjaśnił, że powinieneś zweryfikować swoje wyniki, ponownie uruchamiając eksperyment. Założeniem było, że jeśli wybierzesz 95% pewności, istnieje 5% (1/20) szansa na fałszywie pozytywny wynik. Jeśli ponownie uruchomisz eksperyment z tymi samymi ograniczeniami, teraz jest 1/400 …
3
Czy można (należy?) Zastosować techniki regularyzacji w modelu efektów losowych?
Przez techniki regularyzacji mam na myśli lasso, regresję grzbietu, elastyczną siatkę i tym podobne. Rozważ model prognostyczny dotyczący danych opieki zdrowotnej zawierający dane demograficzne i dane diagnostyczne, w których przewiduje się długość pobytu w przypadku hospitalizacji. Dla niektórych osób istnieje wiele obserwacji LOS (tj. Więcej niż jeden epizod IP) podczas …
2
Jaki jest najlepszy sposób na wizualizację efektów kategorii i ich rozpowszechnienia w regresji logistycznej?
Muszę przedstawić informacje o głównych predyktorach głosów kandydata na podstawie danych z badania opinii publicznej. Przeprowadziłem regresję logistyczną, używając wszystkich zmiennych, na których mi zależy, ale nie mogę znaleźć dobrego sposobu na przedstawienie tych informacji. Mój klient nie dba tylko o wielkość efektu, ale o interakcję między wielkością efektu a …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.