Statystyki i duże zbiory danych

3

Regularyzacja i skalowanie funkcji w nauczaniu online?

Powiedzmy, że mam klasyfikator regresji logistycznej. Podczas normalnego uczenia wsadowego stosuję termin regulizujący, aby zapobiec nadmiernemu dopasowaniu i utrzymać moją wagę na niskim poziomie. Normalizowałbym również i skalował moje funkcje. W ustawieniach do nauki online otrzymuję ciągły strumień danych. Z każdym przykładem wykonuję aktualizację spadku gradientu, a następnie ją odrzucam. …

15 machine-learning normalization regularization online

2

Mylić z odmianami MCMC Metropolis-Hastings: Random-Walk, Non-Random-Walk, Independent, Metropolis

W ciągu ostatnich kilku tygodni starałem się zrozumieć MCMC i algorytm (y) Metropolis-Hastings. Za każdym razem, gdy myślę, że to rozumiem, zdaję sobie sprawę, że się mylę. Większość przykładów kodu, które znajduję w Internecie, implementuje coś, co nie jest zgodne z opisem. tj.: Mówią, że wdrażają Metropolis-Hastings, ale w rzeczywistości …

15 mcmc metropolis-hastings

4

Statystyka Ljung-Box dla reszt ARIMA w R: mylące wyniki testu

Mam szereg czasowy, który próbuję przewidzieć, dla którego wykorzystałem model sezonowy ARIMA (0,0,0) (0,1,0) [12] (= fit2). Różni się od tego, co R zasugerował z auto.arima (R obliczone ARIMA (0,1,1) (0,1,0) [12] byłoby lepsze dopasowanie, nazwałem to fit1). Jednak w ciągu ostatnich 12 miesięcy mojego szeregu czasowego mój model (fit2) …

15 r time-series statistical-significance arima residuals

3

Jak interpretować parametry GARCH?

Używam standardowego modelu GARCH: rtσ2t=σtϵt=γ0+γ1r2t−1+δ1σ2t−1rt=σtϵtσt2=γ0+γ1rt−12+δ1σt−12\begin{align} r_t&=\sigma_t\epsilon_t\\ \sigma^2_t&=\gamma_0 + \gamma_1 r_{t-1}^2 + \delta_1 \sigma^2_{t-1} \end{align} Mam różne oszacowania współczynników i muszę je interpretować. Dlatego zastanawiam się nad fajną interpretacją, więc co reprezentują , i ?γ0γ0\gamma_0γ1γ1\gamma_1δ1δ1\delta_1 Widzę, że jest czymś stałym. Stanowi więc rodzaj „zmienności otoczenia”. oznacza korektę ostatnich wstrząsów. Ponadto nie …

15 interpretation garch

5

Czy regresja logistyczna jest testem nieparametrycznym?

Niedawno otrzymałem następujące pytanie przez e-mail. Odpowiem poniżej, ale chciałem usłyszeć, co myślą inni. Czy nazwałbyś regresję logistyczną testem nieparametrycznym? Rozumiem, że samo oznaczenie testu nieparametrycznego, ponieważ jego dane nie są normalnie dystrybuowane, jest niewystarczające. Chodzi raczej o brak założeń. regresja logistyczna ma założenia.

15 hypothesis-testing logistic nonparametric

3

Sprawdź znaczącą różnicę między dwiema wartościami nachylenia

Dane, które posiadam, to wartość nachylenia regresji wynosząca y ~ czas, błąd standardowy, wartość n oraz wartość ap, dla określonego gatunku w dwóch różnych obszarach. Chcę sprawdzić, czy nachylenie regresji dla jednego obszaru znacznie różni się od nachylenia regresji dla drugiego obszaru - czy jest to możliwe przy takich danych? …

15 r regression statistical-significance

2

Jak zrobić regresję z kodowaniem efektu zamiast kodowania fikcyjnego w R?

Obecnie pracuję nad modelem regresji, w którym jako zmienne niezależne mam tylko zmienne kategorialne / czynnikowe. Moja zmienna zależna to stosunek przekształcony logit. Całkiem łatwo jest uruchomić normalną regresję w R, ponieważ R automatycznie wie, jak zakodować manekiny, gdy tylko będą miały typ „czynnik”. Jednak ten rodzaj kodowania oznacza również, …

15 r regression categorical-data categorical-encoding

1

Zrównoważona dokładność vs wynik F-1

Zastanawiałem się, czy ktokolwiek mógłby wyjaśnić różnicę między wyważoną dokładnością b_acc = (sensitivity + specificity)/2 oraz wynik f1, który jest: f1 = 2*precision*recall/(precision + recall)

15 unbalanced-classes

1

Jak interpretować macierz kowariancji z dopasowania krzywej?

Nie jestem zbyt dobry w statystyce, więc przepraszam, jeśli to proste pytanie. Dopasowuję krzywą do niektórych danych, a czasami moje dane najlepiej pasują do ujemnego wykładniczego w postaci * e( - b ∗ x )+ cza∗mi(-b∗x)+doa * e^{(-b * x)} + c , a czasami dopasowanie jest bliższe . Czasami …

15 variance model-selection python curve-fitting covariance-matrix

3

Jak wybrać metrykę błędu podczas oceny klasyfikatora?

Widziałem różne wskaźniki błędów stosowane w konkursach Kaggle: między innymi RMS, średnia kwadratowa, AUC. Jaka jest ogólna ogólna zasada wyboru metryki błędu, tj. Skąd wiesz, którą metrykę błędu należy zastosować dla danego problemu? Czy są jakieś wytyczne?

15 machine-learning classification error

1

Znajdowanie ekstremów lokalnych funkcji gęstości za pomocą splajnów

Próbuję znaleźć lokalne maksima dla funkcji gęstości prawdopodobieństwa (znalezionej metodą R density). Nie mogę wykonać prostej metody „rozglądania się po sąsiadach” (gdzie ktoś rozgląda się po punkcie, aby sprawdzić, czy jest to maksimum lokalne w stosunku do swoich sąsiadów), ponieważ istnieje duża ilość danych. Co więcej, wydaje się bardziej wydajne …

15 r pdf splines maximum

2

Dystrybucja odzwierciedlająca sytuację, w której niektóre oczekiwania powodują, że oczekujemy więcej

Czytając notatki Blake Master na temat wykładu Petera Thiela na temat startupów, natknąłem się na tę metaforę granicy technologicznej: Wyobraź sobie, że świat jest pokryty stawami, jeziorami i oceanami. Jesteś w łodzi, w zbiorniku wodnym. Ale jest bardzo mglisty, więc nie wiesz, jak daleko jest na drugą stronę. Nie wiesz, …

15 distributions queueing interarrival-time

4

Działanie przypadku w deterministycznym świecie

Zauważa to w książce Stevena Pinkera Better Angels of Our Nature Prawdopodobieństwo jest kwestią perspektywy. Patrząc z wystarczająco bliskiego zasięgu, poszczególne zdarzenia mają określone przyczyny. Nawet rzut monetą można przewidzieć na podstawie warunków początkowych i praw fizyki, a wykwalifikowany mag może wykorzystać te prawa, aby za każdym razem rzucać głową. …

15 probability central-limit-theorem intuition

4

Zalety krzywych ROC

Jakie są zalety krzywych ROC? Na przykład klasyfikuję niektóre obrazy, co jest problemem klasyfikacji binarnej. Wyodrębniłem około 500 obiektów i zastosowałem algorytm wyboru cech, aby wybrać zestaw cech, a następnie zastosowałem SVM do klasyfikacji. W takim przypadku jak mogę uzyskać krzywą ROC? Czy powinienem zmienić wartości progowe mojego algorytmu wyboru …

15 machine-learning roc

2

Wielokrotna regresja liniowa do testowania hipotez

Jestem zaznajomiony z wykorzystaniem wielu regresji liniowych do tworzenia modeli różnych zmiennych. Byłem jednak ciekawy, czy testy regresji są kiedykolwiek wykorzystywane do wykonywania podstawowych testów hipotez. Jeśli tak, to jak wyglądałyby te scenariusze / hipotezy?

15 regression hypothesis-testing multiple-regression