Statystyki i duże zbiory danych

1

Czy dokładność jest niewłaściwą zasadą punktacji w ustawieniach klasyfikacji binarnej?

Ostatnio uczyłem się o prawidłowych regułach punktacji dla klasyfikatorów probabilistycznych. Kilka wątków na tej stronie internetowej podkreślało, że dokładność jest niewłaściwą zasadą punktacji i nie należy jej wykorzystywać do oceny jakości prognoz generowanych przez model probabilistyczny, taki jak regresja logistyczna. Jednak wiele artykułów akademickich, które przeczytałem, podało utratę błędnej klasyfikacji …

13 probability accuracy scoring-rules

2

Czy istnieje jakiś problem teoretyczny ze współczynnikami regresji uśredniającej w celu zbudowania modelu?

Chcę zbudować model regresji, który jest średnią z wielu modeli OLS, każdy oparty na podzbiorze pełnych danych. Idea tego opiera się na tym dokumencie . Tworzę k fałd i buduję k modeli OLS, każdy na danych bez jednego z fałd. Następnie uśredniam współczynniki regresji, aby uzyskać ostateczny model. Uderza mnie …

13 regression least-squares ensemble

1

Intuicyjne zrozumienie twierdzenia Halmosa-Savage'a

Twierdzenie Halmosa-Savage'a mówi, że dla dominującego modelu statystycznego statystyka jest wystarczający, jeśli (i tylko jeśli) dla wszystkich istnieje wersja pochodnej Radon Nikodym, mierzalna wersja gdzie jest uprzywilejowany środek taki, że do i .(Ω,A,P)(Ω,A,P)(\Omega, \mathscr A, \mathscr P)T:(Ω,A,P)→(Ω′,A′)T:(Ω,A,P)→(Ω′,A′)T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr A'){P∈P}{P∈P}\{P \in \mathscr{P} \} TTTdPdP∗dPdP∗\frac{dP}{dP*}dP∗dP∗dP*P∗=∑∞i=1PiciP∗=∑i=1∞PiciP*=\sum_{i=1}^\infty P_i c_i …

13 probability mathematical-statistics intuition measure-theory

11

Czy odchylenie standardowe jest całkowicie błędne? Jak obliczyć std dla wysokości, zliczeń itp. (Liczby dodatnie)?

Powiedzmy, że obliczam wysokości (w cm), a liczby muszą być większe od zera. Oto przykładowa lista: 0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665 0.19806286 0.76053071 0.16911084 0.08833981 Mean: 0.41138725956196015 Std: 0.2860541519582141 W tym przykładzie, zgodnie z rozkładem normalnym, 99,7% wartości musi znajdować się między ± 3-krotnością standardowego odchylenia od średniej. Jednak …

13 probability mathematical-statistics normal-distribution standard-deviation

2

Dlaczego RNN z jednostkami LSTM może cierpieć z powodu „eksplodujących gradientów”?

Mam podstawową wiedzę na temat działania RNN (a zwłaszcza jednostek LSTM). Mam obrazowe wyobrażenie o architekturze jednostki LSTM, czyli komórki i kilku bramek, które regulują przepływ wartości. Jednak najwyraźniej nie do końca zrozumiałem, w jaki sposób LSTM rozwiązuje problem „znikania i eksplodowania gradientów”, który pojawia się podczas treningu, z wykorzystaniem …

13 neural-networks lstm rnn backpropagation

1

Format wejściowy dla odpowiedzi w dwumianowym glm w R.

W Ristnieją trzy sposoby, aby sformatować dane wejściowe dla regresji logistycznej z wykorzystaniem glmfunkcji: Dane mogą być w formacie „binarnym” dla każdej obserwacji (np. Y = 0 lub 1 dla każdej obserwacji); Dane mogą być w formacie „Wilkinson-Rogers” (np. y = cbind(success, failure)), Przy czym każdy wiersz reprezentuje jeden zabieg; …

13 r logistic generalized-linear-model

3

Zrozumienie MCMC: jaka byłaby alternatywa?

Nauka statystyk bayesowskich po raz pierwszy; zastanawiając się nad kątem MCMC, zastanawiałem się: czy robi coś, czego zasadniczo nie da się zrobić inaczej, czy też robi coś znacznie wydajniejszego niż alternatywy? Dla ilustracji załóżmy, że próbujemy obliczyć prawdopodobieństwo naszych parametrów, biorąc pod uwagę dane biorąc pod uwagę model, który oblicza …

13 bayesian mcmc

5

Dlaczego spadek gradientu jest nieefektywny w przypadku dużych zbiorów danych?

Załóżmy, że nasz zestaw danych zawiera 1 milion przykładów, tj. , i chcemy użyć opadania gradientu, aby przeprowadzić regresję logistyczną lub liniową na tym zestawie danych.x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} Co to jest z metodą opadania gradientu, która sprawia, że jest nieefektywna? Przypomnijmy, że krok opadania gradientu w czasie jest określony przez:ttt …

13 machine-learning gradient-descent large-data

2

Jak obliczana jest metoda .similarity w SpaCy?

Nie jestem pewien, czy to jest odpowiednia strona stosu, ale proszę bardzo. Jak działa metoda .similiarity? Wow spaCy jest świetne! Jego model tfidf może być łatwiejszy, ale w2v z tylko jedną linią kodu ?! W swoim 10-liniowym samouczku na temat spaCy andrazhribernik pokazuje nam metodę .similarity, którą można uruchamiać na …

13 natural-language word2vec tf-idf nltk

4

Jeśli każdy neuron w sieci neuronowej jest w zasadzie funkcją regresji logistycznej, dlaczego wielowarstwowość jest lepsza?

Przechodzę przez kurs DeepAI Cousery (film 3 tygodnia 1 „Przegląd sieci neuronowych”), a Andrew Ng wyjaśnia, w jaki sposób każda warstwa w sieci neuronowej jest kolejną regresją logistyczną, ale nie wyjaśnia, w jaki sposób poprawia to dokładność. W jaki sposób w sieci dwuwarstwowej wielokrotne obliczanie logistyki czyni ją dokładniejszą?

13 logistic neural-networks

1

Dlaczego naiwny klasyfikator Bayesa jest optymalny dla straty 0-1?

Klasyfikator Naive Bayes jest klasyfikatorem, który przypisuje przedmioty do klasy oparciu o maksymalizację tylnego dla członkostwa w klasie i zakłada, że cechy przedmiotów są niezależne.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) Strata 0-1 to strata, która przypisuje każdej błędnej klasyfikacji stratę „1”, a stratę „0” dowolnej poprawnej klasyfikacji. Często czytam …

13 machine-learning bayesian optimization naive-bayes loss-functions

3

Czy optymalizacja PCA jest wypukła?

Funkcja celu w głównej analizie składników (PCA) polega na minimalizowaniu błędu rekonstrukcji w normie L2 (patrz sekcja 2.12 tutaj . Inny pogląd stara się zmaksymalizować wariancję projekcji. Mamy też doskonały post tutaj: Jaka jest funkcja celu PCA ? ). Moje pytanie brzmi: czy wypukła jest optymalizacja PCA? (Znalazłem tutaj kilka …

13 machine-learning pca optimization convex

1

Dlaczego algorytm zniżania „Saddle-Free Newton” nie jest stosowany w praktyce?

Niedawno przeczytałem artykuł Yanna Dauphina i in. Identyfikowanie i atakowanie problemu punktu siodłowego w wielowymiarowej nie wypukłej optymalizacji , w której wprowadzono interesujący algorytm opadania o nazwie Saddle-Free Newton , który wydaje się być dokładnie dostosowany do optymalizacji sieci neuronowej i nie powinien cierpieć z powodu utknięcia w punktach siodłowych …

13 optimization deep-learning gradient-descent

2

„Najmniejsze kwadraty” i „Regresja liniowa”, czy są to synonimy?

Jaka jest różnica między regresem najmniejszych kwadratów a regresją liniową? Czy to to samo?

13 regression least-squares terminology

1

Czy mediana-bezstronna Just-Identified 2SLS?

W „W większości nieszkodliwych ekonometriach: towarzysz empirysty” (Angrist i Pischke, 2009: strona 209) czytam: (...) W rzeczywistości właśnie zidentyfikowana 2SLS (powiedzmy, prosty estymator Wald) jest w przybliżeniu bezstronna . Jest to trudne do formalnego wykazania, ponieważ właśnie zidentyfikowana 2SLS nie ma momentów (tj. Rozkład próbkowania ma ogony tłuszczu). Niemniej jednak, …

13 regression self-study multiple-regression econometrics instrumental-variables