Statystyki i duże zbiory danych

4

Która funkcja strat jest prawidłowa dla regresji logistycznej?

Czytałem o dwóch wersjach funkcji straty dla regresji logistycznej, która z nich jest poprawna i dlaczego? Z uczenia maszynowego , Zhou ZH (po chińsku), z :β=(w,b) and βTx=wTx+bβ=(w,b) and βTx=wTx+b\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b l(β)=∑i=1m(−yiβTxi+ln(1+eβTxi))(1)(1)l(β)=∑i=1m(−yiβTxi+ln⁡(1+eβTxi))l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1 Z mojego kursu na uczelni, z :zi=yif(xi)=yi(wTxi+b)zi=yif(xi)=yi(wTxi+b)z_i = y_if(x_i)=y_i(w^Tx_i …

31 logistic loss-functions

1

Prawdopodobieństwo krzyżowe lub prawdopodobieństwo dziennika w warstwie wyjściowej

Przeczytałem tę stronę: http://neuralnetworksanddeeplearning.com/chap3.html i powiedział, że sigmoidalna warstwa wyjściowa z entropią krzyżową jest dość podobna do warstwy wyjściowej softmax z prawdopodobieństwem logarytmicznym. co się stanie, jeśli użyję sigmoid z logarytmem prawdopodobieństwa lub softmax z entropią krzyżową w warstwie wyjściowej? czy to w porządku? ponieważ widzę, że istnieje niewielka różnica …

31 neural-networks maximum-likelihood softmax

2

Czy tworzę uprzedzenia za pomocą tego samego losowego ziarna w kółko?

W prawie wszystkich pracach analitycznych, które kiedykolwiek przeprowadziłem, używam: set.seed(42) To hołd dla Autostopowicza po Galaktyce . Ale zastanawiam się, czy tworzę uprzedzenia, używając ciągle tego samego ziarna.

31 random-generation

3

Jaka jest różnica między tylnym a tylnym rozkładem predykcyjnym?

Rozumiem, co to jest posterior, ale nie jestem pewien, co oznacza ten drugi? Czym różnią się 2? Kevin P Murphy wskazał w swoim podręczniku Machine Learning: Probabilistic Perspective , że jest to „stan wewnętrznego przekonania”. Co to tak naprawdę oznacza? Miałem wrażenie, że przeor reprezentuje twoje wewnętrzne przekonania lub uprzedzenia, …

31 posterior definition

7

Metody statystyczne do bardziej wydajnego drukowania danych, gdy istnieją miliony punktów?

Uważam, że generowanie wykresów przez R może zająć dużo czasu, gdy obecne są miliony punktów - nic dziwnego, biorąc pod uwagę, że punkty są drukowane indywidualnie. Ponadto takie wykresy są często zbyt zagracone i gęste, aby były przydatne. Wiele punktów nakłada się i tworzy czarną masę, a wiele czasu spędza …

31 r data-visualization

3

Czy łączne prawdopodobieństwo 2 niezależnych zdarzeń nie powinno być równe zero?

Jeśli wspólne prawdopodobieństwo jest przecięciem 2 zdarzeń, to czy wspólne prawdopodobieństwo 2 niezależnych zdarzeń nie powinno wynosić zero, ponieważ w ogóle się nie przecinają? Jestem zmieszany.

30 probability joint-distribution

7

Dlaczego w analizie regresji nazywamy zmienne niezależne „niezależnymi”?

Mam na myśli, że niektóre z tych zmiennych są ze sobą ściśle skorelowane. Jak / dlaczego / w jakim kontekście definiujemy je jako zmienne niezależne ?

30 regression terminology predictor

2

Czego właśnie nauczyła się moja sieć neuronowa? Jakie funkcje są ważne i dlaczego?

Sieć neuronowa uczy się cech zestawu danych jako sposobu na osiągnięcie pewnego celu. Po zakończeniu możemy chcieć dowiedzieć się, czego nauczyła się sieć neuronowa. Jakie były funkcje i dlaczego o to dbano. Czy ktoś może podać jakieś referencje na temat pracy, która dotyczy tego problemu?

30 neural-networks deep-learning

3

Użyteczność inżynierii funkcji: Po co tworzyć nowe funkcje w oparciu o istniejące funkcje?

Często widzę, że ludzie tworzą nowe funkcje w oparciu o istniejące funkcje związane z problemem uczenia maszynowego. Na przykład tutaj: https://triangleinequality.wordpress.com/2013/09/08/basic-feature-engineering-with-the-titanic-data/ ludzie uważają, że wielkość rodziny osoby jest nową funkcją na temat liczby braci, sióstr i rodziców, które były cechami istniejącymi. Ale po co to? Nie rozumiem, dlaczego tworzenie nowych …

30 machine-learning feature-engineering

6

Dlaczego nazywa się tak oczekiwana wartość?

Rozumiem, w jaki sposób otrzymujemy 3,5 jako oczekiwaną wartość dla rzutu rzetelną 6-stronną kostką. Ale intuicyjnie mogę spodziewać się każdej twarzy z równą szansą 1/6. Czyż zatem oczekiwana wartość rzutu kostką nie powinna być równa liczbie od 1 do 6 z jednakowym prawdopodobieństwem? Innymi słowy, na pytanie „jaka jest oczekiwana …

30 expected-value terminology history

1

Nieprawidłowe stosowanie weryfikacji krzyżowej (raportowanie wydajności dla najlepszej wartości hiperparametru)

Ostatnio natknąłem się na artykuł, który proponuje użycie klasyfikatora k-NN w określonym zbiorze danych. Autorzy wykorzystali wszystkie dostępne próbki danych, aby przeprowadzić k-krotną weryfikację krzyżową dla różnych wartości k i zgłosić wyniki walidacji krzyżowej najlepszej konfiguracji hiperparametrów. Według mojej wiedzy wynik ten jest stronniczy i powinni zachować osobny zestaw testowy, …

30 cross-validation references model-selection model-evaluation

2

Czy 50% przedziały ufności są lepiej oszacowane niż 95% przedziały ufności?

Moje pytanie wypływa z tego komentarza na blogu Andrew Gelmana, w którym opowiada się za stosowaniem 50% przedziałów ufności zamiast 95% przedziałów ufności, chociaż nie dlatego, że są one dokładniej oszacowane: Wolę przerwy od 50% do 95% z 3 powodów: Stabilność obliczeniowa, Bardziej intuicyjna ocena (połowa 50% przedziałów powinna zawierać …

30 confidence-interval assumptions robust

13

Jaka intuicja kryje się za wzorem prawdopodobieństwa warunkowego?

Wzór na warunkowe prawdopodobieństwo wystąpienia biorąc pod uwagę, że zdarzyło się , jest następujący: P \ left (\ text {A} ~ \ middle | ~ \ text {B} \ right) = \ frac { P \ left (\ text {A} \ cap \ text {B} \ right)} {P \ left …

30 probability conditional-probability intuition

4

Czy suma dwóch procesów białego szumu jest koniecznie białym szumem?

Niech i będą procesami białego szumu. Czy możemy powiedzieć, że jest koniecznie procesem białego szumu?b t c t = a t + b tatata_tbtbtb_tct=at+btct=at+btc_t=a_t+b_t

30 time-series econometrics white-noise

2

Kto pierwszy użył / wynalazł wartości p?

Próbuję napisać serię postów na blogu o wartościach p i pomyślałem, że warto wrócić do miejsca, w którym wszystko się zaczęło - co wydaje się być artykułem Pearsona z 1900 roku. Jeśli znasz ten papier, pamiętasz, że obejmuje to testowanie dopasowania. Pearson jest nieco luźny w swoim języku, jeśli chodzi …

30 p-value history ronald-fisher