Statystyki i duże zbiory danych

2

Jak pasuje k-krotnie walidacja krzyżowa w kontekście zestawów szkoleniowych / walidacyjnych / testowych?

Moje główne pytanie dotyczy prób zrozumienia, w jaki sposób k-krotna walidacja krzyżowa pasuje w kontekście posiadania zestawów szkoleniowych / walidacyjnych / testowych (jeśli w ogóle pasuje w takim kontekście). Zwykle ludzie mówią o podziale danych na zestaw treningowy, walidacyjny i testowy - powiedzmy w stosunku 60/20/20 na kurs Andrew Ng …

14 cross-validation dataset overfitting

5

Czy koszt entropii krzyżowej ma sens w kontekście regresji?

Czy koszt entropii krzyżowej ma sens w kontekście regresji (w przeciwieństwie do klasyfikacji)? Jeśli tak, czy możesz podać przykład zabawki za pośrednictwem TensorFlow? Jeśli nie, dlaczego nie? Czytałem o entropii krzyżowej w sieciach neuronowych i głębokim uczeniu się Michaela Nielsena i wydaje się, że można to naturalnie wykorzystać do regresji …

14 regression entropy tensorflow cross-entropy

2

Jak działa Naive Bayes ze zmiennymi ciągłymi?

Według mojego (bardzo podstawowego) zrozumienia Naive Bayes szacuje prawdopodobieństwa na podstawie częstotliwości klasowych każdej cechy w danych treningowych. Ale jak oblicza częstotliwość zmiennych ciągłych? A kiedy przewidujesz, jak klasyfikuje nową obserwację, która może nie mieć takich samych wartości jak żadna obserwacja w zestawie treningowym? Czy używa jakiegoś pomiaru odległości lub …

14 machine-learning classification bayesian naive-bayes

1

Czy zwiększanie gradientu jest odpowiednie dla danych z niskimi wskaźnikami zdarzeń, takimi jak 1%?

Próbuję zwiększyć gradient w zbiorze danych z częstością zdarzeń około 1% przy użyciu Enterprise Minera, ale nie daje żadnego wyniku. Moje pytanie brzmi: skoro jest to podejście oparte na drzewku decyzyjnym, czy w ogóle warto stosować zwiększanie gradientu przy tak niskim zdarzeniu?

14 boosting unbalanced-classes rare-events gradient

2

Inicjalizacja wagi CNN Xaviera

W niektórych samouczkach stwierdziłem, że inicjalizacja wagi „Xaviera” (papier: Zrozumienie trudności w uczeniu głębokich sieci neuronowych ze sprzężeniem zwrotnym ) jest skutecznym sposobem inicjalizacji wag sieci neuronowych. W przypadku w pełni połączonych warstw w tych samouczkach obowiązywała zasada: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad Var(W) …

14 normal-distribution variance neural-networks conv-neural-network

3

Jak uzyskać probabilistyczną interpretację AUC?

Dlaczego obszar pod krzywą ROC to prawdopodobieństwo, że klasyfikator uszereguje losowo wybraną „pozytywną” instancję (na podstawie uzyskanych prognoz) wyższą niż przypadkowo wybrana „pozytywna” instancja (z oryginalnej pozytywnej klasy)? W jaki sposób można udowodnić matematycznie to stwierdzenie za pomocą całki, podając CDF i PDF prawdziwie dodatnie i ujemne rozkłady klas?

14 probability roc auc

3

gdy jest zmienną ciągłą

Wiem, że dla zmiennej ciągłej .P.[ X=x]=0P[X=x]=0P[X=x]=0 Ale nie mogę sobie wyobrazić, że jeśli , istnieje nieskończona liczba możliwych . A także dlaczego ich prawdopodobieństwa stają się nieskończenie małe?xP[X=x]=0P.[X=x]=0P[X=x]=0xxx

14 probability self-study references continuous-data

2

Intuicja na chwilę o środku dystrybucji?

Czy ktoś może podać intuicję, dlaczego wyższe momenty rozkładu prawdopodobieństwa , podobnie jak moment trzeci i czwarty, odpowiadają odpowiednio skośności i kurtozie? W szczególności dlaczego odchylenie dotyczące średniej podniesionej do trzeciej lub czwartej potęgi ostatecznie przekłada się na miarę skośności i kurtozy? Czy istnieje sposób na odniesienie tego do trzeciej …

14 mathematical-statistics skewness moments intuition kurtosis

2

Jensen Shannon Divergence vs. Kullback-Leibler Divergence?

Wiem, że dywergencja KL nie jest symetryczna i nie można jej uważać za miarę. Jeśli tak, to dlaczego jest używane, gdy JS Divergence spełnia wymagane właściwości metryki? Czy istnieją scenariusze, w których można zastosować dywergencję KL, ale nie dywergencję JS lub odwrotnie?

14 probability distributions kullback-leibler metric

3

Przykład działania sztuczki log-sum-exp w Naive Bayes

Czytałem o sztuczce log-sum-exp w wielu miejscach (np. Tutaj i tutaj ), ale nigdy nie widziałem przykładu, w jaki sposób jest ona stosowana konkretnie do klasyfikatora Naive Bayes (np. Z funkcjami dyskretnymi i dwiema klasami) Jak dokładnie można uniknąć problemu niedopełnienia liczb przy użyciu tej sztuczki?

14 naive-bayes underflow

2

Co to jest SVM jednej klasy i jak to działa?

Do pracy badawczej korzystałem z jednej klasy SVM , zaimplementowanej w scikit-learn. Ale nie rozumiem tego dobrze. Czy ktoś może podać proste, dobre wyjaśnienie jednej klasy SVM ?

14 machine-learning svm data-mining novelty-detection

6

Oszacowanie MLE a MAP, kiedy użyć którego?

MLE = oszacowanie maksymalnego prawdopodobieństwa MAP = Maksimum a posteriori MLE jest intuicyjny / naiwny, ponieważ zaczyna się od prawdopodobieństwa obserwacji danego parametru (tj. Funkcji prawdopodobieństwa) i próbuje znaleźć parametr najlepiej zgodny z obserwacją . Ale nie bierze pod uwagę wcześniejszej wiedzy. MAP wydaje się bardziej rozsądny, ponieważ bierze pod …

14 machine-learning bayesian estimation maximum-likelihood inference

2

Nadmierna dyspersja w regresji logistycznej

Próbuję zrozumieć koncepcję nadmiernej dyspersji w regresji logistycznej. Czytałem, że nadmierna dyspersja występuje wtedy, gdy zaobserwowana wariancja zmiennej odpowiedzi jest większa niż można by oczekiwać po rozkładzie dwumianowym. Ale jeśli zmienna dwumianowa może mieć tylko dwie wartości (1/0), to jak może mieć średnią i wariancję? Nie przeszkadza mi obliczanie średniej …

14 logistic variance binomial mean overdispersion

1

Przekształcanie znormalizowanych bet z powrotem w oryginalne zmienne

Zdaję sobie sprawę, że jest to prawdopodobnie bardzo proste pytanie, ale po przeszukaniu nie mogę znaleźć odpowiedzi, której szukam. Mam problem, w którym muszę ustandaryzować zmienne uruchamiające (regresję grzbietu), aby obliczyć szacunki grzbietu bet. Następnie muszę przekonwertować je z powrotem do oryginalnej skali zmiennych. Ale jak to zrobić? Znalazłem wzór …

14 regression standard-error standardization predictor centering

2

Krzyżowa walidacja i optymalizacja parametrów

Mam pytanie dotyczące optymalizacji parametrów, gdy korzystam z 10-krotnej walidacji krzyżowej. Chcę zapytać, czy parametry powinny zostać naprawione podczas treningu modelu każdego złożenia, tj. (1) wybierz jeden zestaw zoptymalizowanych parametrów dla średniej dokładności każdego złożenia. lub (2) Powinienem znaleźć zoptymalizowany parametr dla każdego zagięcia, a następnie każde zagięcie używa różnych …

14 cross-validation optimization parameterization