Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

1
Jak obliczyć z kwadratu próbki R?
Wiem, że prawdopodobnie zostało to omówione gdzie indziej, ale nie udało mi się znaleźć jednoznacznej odpowiedzi. Próbuję użyć wzoru aby obliczyć poza próbą modelu regresji liniowej, gdzie jest sumą kwadratów reszt, a jest sumą kwadratów. W przypadku zestawu treningowego jasne jest, żeR2=1−SSR/SSTR2=1−SSR/SSTR^2 = 1 - SSR/SSTR2R2R^2SSRSSRSSRSSTSSTSST SST=Σ(y−y¯train)2SST=Σ(y−y¯train)2 SST = \Sigma …
2
Prognozowanie wymagań procesora i pamięci GPU podczas szkolenia DNN
Powiedzmy, że mam trochę architektury modelowania dogłębnego uczenia się, a także wybrany rozmiar mini-partii. Jak czerpać z tych oczekiwanych wymagań dotyczących pamięci na potrzeby szkolenia tego modelu? Jako przykład weźmy pod uwagę (jednorazowy) model z wejściem o wymiarze 1000, 4 w pełni połączone ukryte warstwy o wymiarze 100 oraz dodatkową …
1
Prognozowanie szeregów czasowych przy użyciu ARIMA vs LSTM
Problemem, z którym mam do czynienia, jest przewidywanie wartości szeregów czasowych. Patrzę na jeden szereg czasowy naraz i na podstawie np. 15% danych wejściowych chciałbym przewidzieć jego przyszłe wartości. Do tej pory natknąłem się na dwa modele: LSTM (długoterminowa pamięć krótkotrwała; klasa rekurencyjnych sieci neuronowych) ARIMA Próbowałem obu i przeczytałem …
1
W jaki sposób estymator, który minimalizuje ważoną sumę kwadratowego odchylenia i wariancji, pasuje do teorii decyzji?
OK - moja oryginalna wiadomość nie wywołała odpowiedzi; pozwólcie, że postawię pytanie inaczej. Zacznę od wyjaśnienia mojego rozumienia estymacji z teoretycznego punktu widzenia decyzji. Nie mam formalnego szkolenia i nie zaskoczyłoby mnie, gdyby moje myślenie było w jakiś sposób błędne. Załóżmy, że mamy jakąś funkcję straty L ( θ ,θ^( …
3
Najlepszy sposób oceny metod szacowania PDF
Chciałbym przetestować niektóre z moich pomysłów, które moim zdaniem są lepsze niż cokolwiek, co widziałem. Mogę się mylić, ale chciałbym przetestować swoje pomysły i rozwiać moje wątpliwości bardziej pewnymi spostrzeżeniami. To, o czym myślałem, to: Analitycznie zdefiniuj zestaw rozkładów. Niektóre z nich są łatwe, takie jak Gaussa, mundur lub Tophat. …
4
Dlaczego wymagane jest zejście gradientowe?
Kiedy możemy rozróżnić funkcję kosztu i znaleźć parametry, rozwiązując równania uzyskane przez częściowe różnicowanie w odniesieniu do każdego parametru i dowiedzieć się, gdzie funkcja kosztu jest minimalna. Myślę też, że można znaleźć wiele miejsc, w których pochodne są zerowe, dzięki czemu możemy sprawdzić wszystkie takie miejsca i znaleźć globalne minima …
1
Intuicyjne wyjaśnienie utraty logów
W kilku konkurencjach kaggle punktacja opierała się na „loglossie”. Dotyczy to błędu klasyfikacji. Oto odpowiedź techniczna, ale szukam intuicyjnej odpowiedzi. Naprawdę podobały mi się odpowiedzi na to pytanie dotyczące odległości Mahalanobisa, ale PCA to nie logloss. Mogę wykorzystać wartość, którą przedstawia moje oprogramowanie klasyfikacyjne, ale tak naprawdę jej nie rozumiem. …
1
Jest studentizowanymi resztkami v / s standaryzowanymi resztkami w modelu lm
Czy „resztki studenckie” i „resztki standaryzowane” są takie same w modelach regresji? Zbudowałem model regresji liniowej w R i chciałem wykreślić wykres dopasowanych wartości reszt studenckich v / s, ale nie znalazłem zautomatyzowanego sposobu na zrobienie tego w R. Załóżmy, że mam model library(MASS) lm.fit <- lm(Boston$medv~(Boston$lstat)) następnie użycie plot(lm.fit)nie …
3
Jak wykonać nieujemną regresję kalenicy?
Jak wykonać nieujemną regresję kalenicy? Lasso nieujemne jest dostępne w scikit-learn, ale dla grzbietu nie mogę wymusić nieujemności bety i rzeczywiście otrzymuję współczynniki ujemne. Czy ktoś wie, dlaczego tak jest? Czy mogę również zastosować grzbiet w kategoriach zwykłych najmniejszych kwadratów? Przeniesiono to do innego pytania: Czy mogę wdrożyć regresję kalenicy …
2
Jak udowodnić współpracę z sekwencji behawioralnych
Sytuacja: dwa ptaki (samiec i samica) chronią jaja w gnieździe przed intruzem. Każdy ptak może użyć ataku lub zagrożenia do ochrony i może być obecny lub nieobecny. Z danych wynika, że ​​zachowanie może być komplementarne - ataki mężczyzn, podczas gdy kobiety wykorzystują wyświetlanie zagrożenia i odwrotnie. Moje pytanie brzmi: jak …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.