Statystyki i duże zbiory danych

6

Jestem programistą bez tła statystycznego i obecnie szukam różnych metod klasyfikacji dla dużej liczby różnych dokumentów, które chcę zaklasyfikować do wstępnie zdefiniowanych kategorii. Czytałem o kNN, SVM i NN. Mam jednak problemy z rozpoczęciem pracy. Jakie zasoby polecasz? Znam rachunek jednej zmiennej i rachunek wielu zmiennych całkiem dobrze, więc moja …

32 classification information-retrieval text-mining

8

Jakie jest prawdopodobieństwo, że ta osoba jest kobietą?

Za zasłoną stoi osoba - nie wiem, czy jest to kobieta czy mężczyzna. Wiem, że ta osoba ma długie włosy i że 90% wszystkich ludzi z długimi włosami to kobiety Wiem, że ta osoba ma rzadką grupę krwi AX3 i że 80% wszystkich osób z tą grupą krwi to kobiety. …

32 conditional-probability probability

1

W jaki sposób PCA pomógłby w analizie skupień metodą k-średnich?

Kontekst : Chcę podzielić obszary mieszkalne miasta na grupy na podstawie ich cech społeczno-ekonomicznych, w tym gęstości zabudowy, gęstości zaludnienia, powierzchni zieleni, ceny mieszkań, liczby szkół / ośrodków zdrowia / ośrodków opieki dziennej itp. Chcę zrozumieć, na ile różnych grup można podzielić dzielnice mieszkaniowe i jakie są ich unikalne cechy. …

32 clustering pca k-means dimensionality-reduction

2

Dlaczego nie ma mechanizmów uczenia się głębokiego wzmocnienia dla szachów, podobnych do AlphaGo?

Komputery od dawna potrafią grać w szachy za pomocą techniki „brute-force”, szukając określonej głębokości, a następnie oceniając pozycję. Komputer AlphaGo używa jednak tylko ANN do oceny pozycji (o ile mi wiadomo, nie dokonuje głębokiego przeszukiwania). Czy można stworzyć silnik szachowy, który gra w szachy w taki sam sposób, jak AlphaGo …

32 neural-networks deep-learning reinforcement-learning games

2

Funkcja kosztu w regresji liniowej OLS

Jestem trochę mylony z wykładem na temat regresji liniowej wygłoszonym przez Andrew Ng na Coursera na temat uczenia maszynowego. Tam podał funkcję kosztu, która minimalizuje sumę kwadratów jako: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Rozumiem gdzie 1212\frac{1}{2} pochodzi z. Myślę, że zrobił to tak, że gdy wykonał pochodną na kwadracie, 2 …

32 regression machine-learning loss-functions

1

Jaka jest różnica między „współczynnikiem determinacji” a „średnim kwadratowym błędem”?

W przypadku problemu z regresją widziałem, jak ludzie używają „współczynnika determinacji” (inaczej R do kwadratu), aby dokonać wyboru modelu, np. Znajdując odpowiedni współczynnik kary dla uregulowania. Jednak często stosuje się „średni błąd kwadratowy” lub „średni błąd kwadratowy” jako miarę dokładności regresji. Więc jaka jest główna różnica między tymi dwoma? Czy …

32 regression r-squared

4

Jak obliczyć błąd względny, gdy prawdziwa wartość wynosi zero?

Jak obliczyć błąd względny, gdy prawdziwa wartość wynosi zero? Powiedz, że mam i . Jeśli zdefiniuję błąd względny jako:xtrue=0xtrue=0x_{true} = 0xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}} Wówczas błąd względny jest zawsze niezdefiniowany. Jeśli zamiast tego użyję definicji: relative error=xtrue−xtestxtestrelative error=xtrue−xtestxtest\text{relative error} = \frac{x_{true}-x_{test}}{x_{test}} Wówczas błąd względny wynosi zawsze 100%. …

32 error measurement-error

2

Który zakres wyszukiwania do określania optymalnych parametrów C i gamma SVM?

Używam SVM do klasyfikacji i próbuję określić optymalne parametry dla jądra liniowego i RBF. W przypadku jądra liniowego używam sprawdzania krzyżowego wyboru parametrów w celu określenia C, a dla jądra RBF używam wyszukiwania siatki w celu określenia C i gamma. Mam 20 (numerycznych) funkcji i 70 przykładów szkoleniowych, które należy …

32 classification svm kernel-trick

1

Funkcja celu PCA: jaki jest związek między maksymalizacją wariancji a minimalizacją błędu?

Algorytm PCA można sformułować w kategoriach macierzy korelacji (załóżmy, że dane XXX zostały już znormalizowane i rozważamy jedynie rzut na pierwszy komputer). Funkcję celu można zapisać jako: maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. To jest w porządku i używamy mnożników Lagrangian, aby go rozwiązać, tj. Przepisując go …

32 pca optimization

3

PCA o korelacji lub kowariancji: czy PCA o korelacji ma kiedykolwiek sens? [Zamknięte]

W analizie głównych składników (PCA) można wybrać macierz kowariancji lub macierz korelacji, aby znaleźć składniki (z ich odpowiednich wektorów własnych). Dają one różne wyniki (obciążenia komputera i wyniki), ponieważ wektory własne między oboma macierzami nie są równe. Rozumiem, że jest to spowodowane faktem, że surowego wektora danych i jego standaryzacji …

32 pca factor-analysis

3

Czy istnieje projekt Euler podobny do uczenia maszynowego?

Odkryłem, że Project Euler http://projecteuler.net/ jest niezwykle przydatny w nauce języków programowania. Czy istnieje podobna strona do uczenia maszynowego? Widziałem http://www.kaggle.com/ , ale nie jest tak dostępny dla początkujących jak Project Euler.

32 teaching

3

Jak R radzi sobie z brakującymi wartościami w lm?

Chciałbym regresować wektor B względem każdej kolumny w macierzy A. Jest to trywialne, jeśli nie ma brakujących danych, ale jeśli macierz A zawiera brakujące wartości, to moja regresja w stosunku do A jest ograniczona i obejmuje tylko wiersze, w których wszystkie wartości są obecne (domyślne zachowanie na.omit ). To powoduje …

32 r missing-data linear-model

3

Jakie kryteria zatrzymania dla aglomeracyjnego hierarchicznego grupowania są stosowane w praktyce?

Znalazłem obszerną literaturę proponującą wszelkiego rodzaju kryteria (np. Glenn i in. 1985 (pdf) i Jung i in. 2002 (pdf)). Jednak większość z nich nie jest tak łatwa do wdrożenia (przynajmniej z mojej perspektywy). Korzystam z scipy.cluster.hierarchy, aby uzyskać hierarchię klastrów, a teraz próbuję zdecydować, jak utworzyć z tego płaskie klastry. …

32 clustering

4

Jak dopasować model wielopoziomowy do nadmiernie rozproszonych efektów Poissona?

Chcę dopasować wielopoziomowy GLMM z rozkładem Poissona (z nadmierną dyspersją) za pomocą R. W tej chwili używam lme4, ale zauważyłem, że ostatnio quasipoissonrodzina została usunięta. Widziałem gdzie indziej, że można modelować nadmierną dyspersję addytywną dla rozkładów dwumianowych, dodając losowy punkt przecięcia z jednym poziomem na obserwację. Czy dotyczy to również …

32 r mixed-model poisson-distribution lme4-nlme overdispersion

2

Jaka jest definicja „mapy obiektów” (inaczej „mapy aktywacji”) w splotowej sieci neuronowej?

Wprowadzenie do tła W splotowej sieci neuronowej zwykle mamy ogólną strukturę / przepływ, który wygląda następująco: obraz wejściowy (tj. wektor 2D x) (Pierwsza warstwa konwergencji (konw. 1) zaczyna się tutaj ...) zwinąć zestaw filtrów ( w1) wzdłuż obrazu 2D (tzn. wykonać iloczyny z1 = w1*x + b1iloczynu iloczynu), gdzie z1jest …

32 neural-networks deep-learning conv-neural-network