Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

4
Czy w statystykach należy przyjąć, że oznacza czy logarytm naturalny ?
Studiuję statystyki i często spotykam formuły zawierające logi zawsze jestem zdezorientowany, jeśli powinienem interpretować to jako standardowe znaczenie log, tj. Podstawa 10, lub jeśli w statystyce log ogólnie przyjmuje się, że log naturalny ln. W szczególności studiuję estymację częstotliwości Good-Turinga jako przykład, ale moje pytanie jest bardziej ogólne.
4
Dlaczego zwykłe najmniejsze kwadraty działają lepiej niż regresja Poissona?
Próbuję dopasować regresję, aby wyjaśnić liczbę zabójstw w każdej dzielnicy miasta. Chociaż wiem, że moje dane są zgodne z rozkładem Poissona, próbowałem dopasować taki OLS: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Następnie spróbowałem (oczywiście!) Regresji Poissona. Problemem jest to, że lepsze wyniki w regresji OLS: pseudo jest wyższa …
2
Szybkość, koszty obliczeniowe PCA, LASSO, siatka elastyczna
Próbuję porównać złożoność obliczeniową / szybkość estymacji trzech grup metod regresji liniowej, jak wyróżniono w Hastie i in. „Elementy statystycznego uczenia się” (wydanie drugie), rozdział 3: Wybór podzbioru Metody skurczowe Metody wykorzystujące pochodne kierunki wprowadzania (PCR, PLS) Porównanie może być bardzo przybliżone, aby dać pewien pomysł. Rozumiem, że odpowiedzi mogą …
5
Co to jest wielkość efektu… i dlaczego jest nawet przydatna?
Mam wstępną wiedzę na temat statystyki na poziomie absolwenta (zakładam, że znam statystykę matematyczną i prawdopodobieństwo na poziomie licencjackim (np. Wackerly i in., Ross 'Prawdopodobieństwo) i mam pewną wiedzę na temat teorii miar). Niedawno rozpocząłem pracę nad eksperymentalnym projektowaniem i raportowaniem statystycznym w statystykach dotyczących edukacji i zostałem umieszczony w …
1
Paradoks w wyborze modelu (AIC, BIC, aby wyjaśnić lub przewidzieć?)
Po przeczytaniu książki Galit Shmueli „Wyjaśnić lub przewidzieć” (2010) zastanawia mnie pozorna sprzeczność. Istnieją trzy przesłanki, AIC - wybór modelu na podstawie BIC (koniec str. 300 - początek str. 301): po prostu, AIC powinien być używany do wybierania modelu przeznaczonego do przewidywania, podczas gdy BIC powinien być używany do wybierania …
1
Metoda drugiej chwili, ruch Browna?
Niech BtBtB_t być standardowy ruch Browna. Niech oznacza zdarzenie i niech gdzie oznacza funkcję wskaźnika. Czy istnieje takie, że dla dla wszystkich ? Podejrzewam, że odpowiedź brzmi tak; Próbowałem zadzierać z metodą drugiej chwili, ale bezskutecznie. Czy można to pokazać za pomocą metody drugiego momentu? A może powinienem spróbować czegoś …
2
W modelu Poissona, jaka jest różnica między wykorzystaniem czasu jako współzmiennej lub przesunięcia?
Niedawno odkryłem, jak modelować ekspozycje w czasie za pomocą dziennika (np.) Czasu jako przesunięcia w regresji Poissona. Zrozumiałem, że przesunięcie odpowiada czasowi zmiennemu towarzyszącemu o współczynniku 1. Chciałbym lepiej zrozumieć różnicę między używaniem czasu jako przesunięcia lub jako normalnej współzmiennej (dlatego oszacowanie współczynnika). W jakiej sytuacji powinienem zastosować jedną z …
4
Dlaczego dzielenie danych na zestaw szkoleniowy i testowy nie wystarczy
Wiem, że aby uzyskać dostęp do wyników klasyfikatora, muszę podzielić dane na zestaw szkoleniowy / testowy. Ale czytając to : Podczas oceny różnych ustawień („hiperparametrów”) dla estymatorów, takich jak ustawienie C, które należy ręcznie ustawić dla SVM, nadal istnieje ryzyko przeregulowania zestawu testowego, ponieważ parametry można modyfikować, dopóki estymator nie …
1
Ściągawka ANOVA Alfabet Zupa i odpowiedniki regresji
Czy mogę uzyskać pomoc w ukończeniu tej wstępnej (w toku) próby uzyskania orientacji na równoważnikach ANOVA i REGRESSION? Próbowałem pogodzić pojęcia, nazewnictwo i składnię tych dwóch metod. Na tej stronie znajduje się wiele postów na temat ich podobieństwa, na przykład to czy tamto , ale nadal dobrze jest mieć szybką …
3
Dobry przykład, w którym seria bez pierwiastka nie jest stacjonarna?
Kilkakrotnie widziałem, jak ludzie odrzucają wartość zerową w rozszerzonym teście Dickeya-Fullera , a następnie twierdzą, że pokazuje, że ich seria jest stacjonarna (niestety nie mogę pokazać źródeł tych twierdzeń, ale wyobrażam sobie, że podobne twierdzenia istnieją tu i tam w jeden lub inny dziennik). Twierdzę, że jest to nieporozumienie (to, …
2
Sens niezależnej analizy komponentów
Widziałem i podobało mi się pytanie Zrozumienie analizy głównych składników , a teraz mam to samo pytanie dotyczące analizy niezależnych składników. Chcę zadać kompleksowe pytanie na temat intuicyjnych sposobów rozumienia ICA? Chcę to zrozumieć . Chcę to zrozumieć. Chcę to poczuć. Mocno w to wierzę: Tak naprawdę czegoś nie rozumiesz, …
18 intuition  ica 
1
Czy istnieje wyraźny zestaw warunków, w których ścieżki lasso, grzbiety lub elastyczne siatki są monotonne?
Pytanie Co wyciągnąć z tego wykresu lasso (glmnet) pokazuje ścieżki rozwiązania estymatora lasso, które nie są monotoniczne. Oznacza to, że niektórzy współpracownicy rosną w wartości bezwzględnej, zanim się skurczą. Zastosowałem te modele do kilku różnych rodzajów zestawów danych i nigdy nie widziałem tego zachowania „na wolności” i do dziś zakładałem, …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.