Statystyki i duże zbiory danych machine-learning

2

Przewidywanie zaufania do sieci neuronowej

Przypuśćmy, że chcę wytrenować głęboką sieć neuronową do przeprowadzania klasyfikacji lub regresji, ale chcę wiedzieć, jak pewne będą prognozy. Jak mogłem to osiągnąć? Moim pomysłem jest obliczenie entropii krzyżowej dla każdego układu odniesienia na podstawie wyników jego prognozowania w miernikach neuronowych powyżej. Następnie trenowałbym drugą sieć neuronową do regresji, która …

9 machine-learning neural-networks

1

Normalizacja wejściowa dla neuronów ReLU

Według „Efficient Backprop” LeCun i wsp. (1998) dobrą praktyką jest znormalizowanie wszystkich danych wejściowych, tak aby były one wyśrodkowane wokół 0 i mieściły się w zakresie maksymalnej drugiej pochodnej. Na przykład użylibyśmy [-0,5,0,5] dla funkcji „Tanh”. Ma to pomóc w postępie wstecznej propagacji, gdy Hesjan staje się bardziej stabilny. Nie …

9 machine-learning neural-networks normalization deep-learning multidimensional-scaling

2

Wąskie gardło stosowania głębokiego uczenia się w praktyce

Po przeczytaniu wielu artykułów do głębokiego uczenia się, rodzajem szorstkiego odczucia jest to, że istnieje wiele sztuczek w szkoleniu sieci, aby uzyskać lepszą niż zwykle wydajność. Z punktu widzenia aplikacji branżowych bardzo trudno jest opracować tego rodzaju sztuczki, z wyjątkiem elitarnych grup badawczych w dużych firmach technologicznych, np. Google lub …

9 machine-learning deep-learning deep-belief-networks

1

Są kontury

Zakładam, że ogólna konfiguracja regresji, czyli ciągła funkcja jest wybierana z rodziny celu dopasowania danych ( może być dowolną przestrzenią, taką jak sześcian lub faktycznie dowolną rozsądną przestrzenią topologiczną) zgodnie z niektórymi naturalnymi kryteriami.hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n{hθ}θ{hθ}θ\{h_\theta\}_\theta(xi,yi)∈X×Rn,i=1,…,k(xja,yja)∈X×Rn,ja=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, kXXX[0,1]m[0,1]m[0,1]^m Czy istnieją zastosowania regresji, w których zainteresowany jest kontur? …

9 regression machine-learning multiple-regression

1

Dlaczego zejście w gradiencie proksymalnym zamiast prostych metod podrzędnych dla Lasso?

Myślałem o rozwiązaniu Lasso metodami waniliowymi. Ale czytałem osoby sugerujące użycie Proksymalnego spadku gradientu. Czy ktoś może wyjaśnić, dlaczego dla Lasso można zastosować bliższe GD zamiast waniliowych metod podskładnikowych?

9 machine-learning optimization lasso gradient-descent

1

Nie można sprawić, aby ta sieć autokodera działała poprawnie (z warstwami splotowymi i maxpool)

Sieci autokoderów wydają się znacznie trudniejsze niż normalne sieci MLP klasyfikujące. Po kilku próbach użycia Lasagne wszystko, co otrzymuję w zrekonstruowanym wyjściu, jest w najlepszym razie rozmyte uśrednianie wszystkich obrazów bazy danych MNIST, bez rozróżnienia na to, co faktycznie jest cyfrą wejściową. Wybrana przeze mnie struktura sieci to następujące warstwy …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

2

Dlaczego podczas korzystania z SVM muszę skalować funkcje?

Zgodnie z dokumentacją obiektu StandardScaler w scikit-learn: Na przykład wiele elementów wykorzystywanych w funkcji celu algorytmu uczenia się (np. Jądro RBF maszyn wektora wektorowego lub regulatory modeli liniowych L1 i L2) zakłada, że wszystkie funkcje są wyśrodkowane wokół 0 i mają wariancję w tej samej kolejności. Jeśli cecha ma wariancję …

9 machine-learning svm standard-deviation mean references

1

Uzgadnianie wzmocnionych drzew regresji (BRT), uogólnionych modeli wzmocnionych (GBM) i maszyny zwiększającej gradient (GBM)

Pytania: Jaka jest różnica między drzewkami regresji wzmocnionej (BRT) a uogólnionymi modelami wzmocnionej (GBM)? Czy można ich używać zamiennie? Czy jedna jest specyficzną formą drugiej? Dlaczego Ridgeway użył wyrażenia „Uogólnione modele regresji wzmocnionej” (GBM), aby opisać to, co Friedman wcześniej zaproponował jako „maszynę do zwiększania gradientu” (GBM)? Te dwa akronimy …

9 machine-learning boosting gbm

2

Oszacowanie błędu braku worka do zwiększenia?

W Random Forest każde drzewo jest uprawiane równolegle na unikalnej próbce danych doładowania. Ponieważ oczekuje się, że każda próbka przypominająca zawiera około 63% unikalnych obserwacji, pozostawia to około 37% obserwacji, które można wykorzystać do testowania drzewa. Teraz wydaje się, że w Stochastic Gradient Boosting istnieje również OOBerrorOOBerrorOOB_{error} oszacowanie podobne do …

9 machine-learning cross-validation data-mining random-forest boosting

1

Jak znaleźć i ocenić optymalną dyskretyzację zmiennej ciągłej z kryterium ?

Mam zestaw danych ze zmienną ciągłą i binarną zmienną docelową (0 i 1). Muszę zdyskretyzować zmienne ciągłe (w przypadku regresji logistycznej) w odniesieniu do zmiennej docelowej oraz z ograniczeniem, że częstotliwość obserwacji w każdym przedziale powinna być zrównoważona. Próbowałem algorytmów uczenia maszynowego, takich jak Chi Merge, drzewa decyzyjne. Scalanie chi …

9 r machine-learning chi-squared discrete-data supervised-learning

2

Czy drzewa CART wychwytują interakcje między predyktorami?

Ten artykuł twierdzi, że w CART, ponieważ podział binarny jest wykonywany na jednej zmiennej towarzyszącej na każdym etapie, wszystkie podziały są ortogonalne, a zatem interakcje między zmiennymi towarzyszącymi nie są brane pod uwagę. Jednak wiele bardzo poważnych odniesień twierdzi, wręcz przeciwnie, że hierarchiczna struktura drzewa gwarantuje, że interakcje między predyktorami …

9 machine-learning classification data-mining cart

1

Jakie są różnice między filtrami wyuczonymi w autoencoderze i splotowej sieci neuronowej?

W CNN poznamy filtry do tworzenia mapy obiektów w warstwie splotowej. W programie Autoencoder pojedynczą ukrytą jednostkę każdej warstwy można uznać za filtr. Jaka jest różnica między filtrami wyuczonymi w tych dwóch sieciach?

9 machine-learning neural-networks conv-neural-network autoencoders

3

ImageNet: co oznacza błąd w pierwszej piątce?

Jedną z metod oceny w konkursie ImageNet (klasyfikacja 1000 kategorii obrazów) jest błąd w pierwszej piątce, co to znaczy? Zobacz: http://www.image-net.org/challenges/LSVRC/

9 machine-learning classification computer-vision

2

Jak udowodnić, że różnorodne założenie jest prawidłowe?

W uczeniu maszynowym często zakłada się, że zbiór danych leży na gładkim kolektorze o małych wymiarach (założenie rozmaitości), ale czy istnieje jakiś sposób, aby udowodnić, że przy spełnieniu określonych warunków, zbiór danych jest rzeczywiście (w przybliżeniu) generowany z niskiego wymiaru gładkiego kolektora? Na przykład, biorąc pod uwagę sekwencję danych gdzie …

9 machine-learning dimensionality-reduction manifold-learning

2

Grupowanie zaszumionych danych lub wartości odstających

Mam zaszumione dane dwóch takich zmiennych. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- rnorm(20000, 0.5,0.9) y <- …

9 r machine-learning clustering

Pytania otagowane jako machine-learning