Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

4
Jak powinienem sprawdzić założenie liniowości logitu dla ciągłych zmiennych niezależnych w analizie regresji logistycznej?
Jestem mylony z założeniem liniowości logitu dla ciągłych zmiennych predykcyjnych w analizie regresji logistycznej. Czy musimy sprawdzać zależność liniową podczas przeszukiwania potencjalnych predyktorów przy użyciu analizy regresji logistycznej z jedną zmienną? W moim przypadku używam analizy wielokrotnej regresji logistycznej do identyfikacji czynników związanych ze stanem odżywiania (dychotomiczny wynik) wśród uczestników. …
1
Jak działa propagacja wsteczna w syjamskiej sieci neuronowej?
Studiowałem architekturę syjamskiej sieci neuronowej wprowadzonej przez Yanna LeCuna i jego współpracowników w 1994 r. Do rozpoznawania podpisów ( „Weryfikacja podpisu przy użyciu sieci neuronowej z opóźnieniem czasowym syjamskim” .pdf , NIPS 1994) Zrozumiałem ogólną ideę tej architektury, ale tak naprawdę nie rozumiem, jak działa backpropagacja w tym przypadku. Nie …
2
Co to jest skurcz?
Słowo „skurcz” jest często rzucane w niektórych kręgach. Ale co to jest skurcz, wydaje się, że nie ma jasnej definicji. Jeśli mam szereg czasowy (lub jakąkolwiek kolekcję obserwacji jakiegoś procesu), jakie są różne sposoby pomiaru pewnego rodzaju skurczu empirycznego w szeregu? Jakie są rodzaje teoretycznego skurczu, o których mogę mówić? …
3
Wielkość próby potrzebna do oszacowania prawdopodobieństwa „sukcesu” w próbie Bernoulliego
Załóżmy, że gra oferuje wydarzenie, które po zakończeniu daje nagrodę lub nic. Dokładny mechanizm określania, czy nagroda jest przyznawana, jest nieznany, ale zakładam, że zastosowano generator liczb losowych, a jeśli wynik jest większy niż pewna zakodowana wartość, otrzymasz nagrodę. Jeśli chcę w zasadzie dokonać inżynierii wstecznej, jaką wartość zastosowali programiści …
1
Połączenia między
W uczeniu maszynowym możemy wykorzystać obszar pod krzywą ROC (często skracany AUC lub AUROC), aby podsumować, jak dobrze system może rozróżniać dwie kategorie. W teorii wykrywania sygnału często stosuje się (wskaźnik czułości) do podobnego celu. Oba są ściśle ze sobą powiązane i uważam, że są sobie równe, jeśli pewne założenia …
6
Jak scharakteryzować nagłą zmianę?
To pytanie może być zbyt proste. Jeśli chodzi o tymczasowy trend danych, chciałbym dowiedzieć się, w którym momencie następuje „nagła” zmiana. Na przykład na pierwszym rysunku pokazanym poniżej chciałbym znaleźć punkt zmiany za pomocą metody statystycznej. I chciałbym zastosować taką metodę w niektórych innych danych, których punkt zmiany nie jest …
1
Wykresy ilustrujące wyniki liniowego modelu efektu mieszanego
Analizowałem niektóre dane przy użyciu liniowego modelowania efektu mieszanego w R. Planuję zrobić plakat z wynikami i zastanawiałem się, czy ktokolwiek doświadczony z modelami efektu mieszanego może zasugerować, które wykresy zastosować w zilustrowaniu wyników Model. Myślałem o wykresach rezydualnych, wykresie dopasowanych wartości względem wartości oryginalnych itp. Wiem, że będzie to …
3
Względny rozmiar wartości p dla różnych wielkości próby
Jak zmienia się względny rozmiar wartości ap przy różnych wielkościach próby? Na przykład, jeśli otrzymałeś przy n = 45 dla korelacji, a następnie przy n = 120 otrzymałeś taką samą wartość p wynoszącą 0,20, jaki byłby względny rozmiar wartości p dla drugiego testu, w porównaniu do oryginalnej wartości p kiedy …
1
Wybór odpowiedniego rozmiaru mini-partii dla stochastycznego spadku gradientu (SGD)
Czy jest jakaś literatura, która bada wybór wielkości mini-partii podczas stochastycznego spadku gradientu? Z mojego doświadczenia wynika, że ​​jest to wybór empiryczny, zwykle znajdowany w drodze weryfikacji krzyżowej lub przy użyciu różnych reguł. Czy dobrym pomysłem jest powolne zwiększanie rozmiaru minibatchu, gdy zmniejsza się błąd sprawdzania poprawności? Jaki miałby to …
2
Jak oszacować wyjściową funkcję hazardu w modelu Coxa z R.
Muszę oszacować wyjściową funkcję hazardu w zależnym od czasu modelu Coxaλ0( t )λ0(t)\lambda_0(t) λ ( t ) = λ0( t ) exp( Z( t )′β)λ(t)=λ0(t)exp⁡(Z(t)′β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Podczas kursu Survival pamiętam, że bezpośrednia pochodna skumulowanej funkcji hazardu ( ) nie byłaby dobrym estymatorem, ponieważ estymator Breslowa daje funkcję krokową.λ0( …
13 r  survival  cox-model 
4
Procesy gaussowskie: jak używać GPML do uzyskania wyników wielowymiarowych
Czy istnieje sposób na przeprowadzenie regresji procesu Gaussa na wielowymiarowych danych wyjściowych (być może skorelowanych) przy użyciu GPML ? W skrypcie demo znalazłem tylko przykład 1D. Podobne pytanie na CV, które wciągniki przypadku wejścia wielowymiarowej. Przejrzałem ich książkę, aby sprawdzić, czy mogę coś znaleźć. W 9 rozdziale tej książki (sekcja …
3
Zarezerwuj rekomendacje dla początkujących na temat rozkładów prawdopodobieństwa
Studiuję uczenie maszynowe i każdą książkę, którą otwieram, wpadam na rozkład chi-kwadrat, funkcję gamma, rozkład t, Gaussa itp. Każda książka, którą do tej pory otworzyłem, określa tylko, jakie są rozkłady: nie wyjaśniają ani nie podają intuicji, skąd biorą się określone formuły funkcji. Na przykład, dlaczego rozkład chi-kwadrat jest taki, jaki …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.