Statystyki i duże zbiory danych machine-learning

3

Jak można uzyskać dobry model regresji liniowej, gdy nie ma istotnej korelacji między wynikiem a predyktorami?

Przeszkoliłem model regresji liniowej, używając zestawu zmiennych / cech. A model ma dobrą wydajność. Zrozumiałem jednak, że nie ma zmiennej o dobrej korelacji z przewidywaną zmienną. Jak to jest możliwe?

17 regression machine-learning correlation multiple-regression linear-model

1

Quiz: Powiedz klasyfikatorowi według granicy decyzji

Podano 6 granic decyzji poniżej. Granice decyzyjne to fioletowe linie. Kropki i krzyżyki to dwa różne zestawy danych. Musimy zdecydować, który z nich jest: Liniowy SVM Jądro SVM (jądro wielomianowe rzędu 2) Perceptron Regresja logistyczna Sieć neuronowa (1 ukryta warstwa z 10 rektyfikowanymi jednostkami liniowymi) Sieć neuronowa (1 ukryta warstwa …

17 machine-learning self-study classification neural-networks svm

5

Zrozumienie, które cechy były najważniejsze dla regresji logistycznej

Zbudowałem klasyfikator regresji logistycznej, który jest bardzo dokładny na moich danych. Teraz chcę lepiej zrozumieć, dlaczego tak dobrze działa. W szczególności chciałbym uszeregować, które funkcje mają największy udział (które cechy są najważniejsze) i, najlepiej, obliczyć, ile każda cecha przyczynia się do dokładności całego modelu (lub czegoś w tym stylu). Jak …

17 machine-learning logistic feature-selection importance

1

Jakie są teoretyczne gwarancje workowania

(W przybliżeniu) słyszałem, że: workowanie jest techniką zmniejszania wariancji predyktora / estymatora / algorytmu uczenia się. Jednak nigdy nie widziałem formalnego matematycznego dowodu tego stwierdzenia. Czy ktoś wie, dlaczego jest to prawdą matematyczną? Wydaje się, że jest to tak powszechnie akceptowany / znany fakt, że spodziewałbym się bezpośredniego odniesienia do …

17 machine-learning mathematical-statistics bagging

3

Dlaczego dzielimy się przez odchylenie standardowe, a nie jakiś inny czynnik standaryzujący przed wykonaniem PCA?

Czytałem następujące uzasadnienie (z notatek kursowych cs229), dlaczego dzielimy surowe dane przez standardowe odchylenie: chociaż rozumiem, co mówi to wyjaśnienie, nie jest dla mnie jasne, dlaczego podzielenie przez odchylenie standardowe osiągnęłoby taki cel. Mówi się, że wszyscy są bardziej na tej samej „skali”. Jednak nie do końca jasne jest, dlaczego …

17 machine-learning pca mathematical-statistics

1

Czy wartość R-kwadrat jest odpowiednia do porównywania modeli?

Staram się znaleźć najlepszy model do przewidywania cen samochodów, korzystając z cen i funkcji dostępnych na stronach ogłoszeń samochodowych. Do tego wykorzystałem kilka modeli z biblioteki scikit-learn oraz modele sieci neuronowej z pybrain i neurolabu. Podejście, które do tej pory stosowałem, polega na przepuszczeniu stałej ilości danych przez niektóre modele …

17 machine-learning neural-networks random-forest r-squared elastic-net

1

Kiedy Naive Bayes osiąga lepsze wyniki niż SVM?

W małym problemie z klasyfikacją tekstu, na który patrzyłem, Naive Bayes wykazywał wydajność podobną lub większą niż SVM i byłem bardzo zdezorientowany. Zastanawiałem się, jakie czynniki decydują o zwycięstwie jednego algorytmu nad drugim. Czy są sytuacje, w których nie ma sensu używać Naive Bayes zamiast SVM? Czy ktoś może rzucić …

17 machine-learning classification svm naive-bayes

4

Co oznacza „stopień swobody” w sieciach neuronowych?

W książce Bishopa „Klasyfikacja wzorców i uczenie maszynowe” opisuje technikę regularyzacji w kontekście sieci neuronowych. Nie rozumiem jednak akapitu opisującego, że podczas procesu szkolenia liczba stopni swobody rośnie wraz ze złożonością modelu. Odpowiedni cytat jest następujący: Alternatywą dla regularyzacji jako sposobu kontrolowania efektywnej złożoności sieci jest procedura wczesnego zatrzymania. Szkolenie …

17 machine-learning neural-networks regularization degrees-of-freedom

3

Wykorzystanie sieci neuronowej do obrotu giełdowego

Zanurkowałem w dziedzinie sieci neuronowych i zafascynowałem się nimi. W końcu opracowałem platformę do testowania systemów handlowych na giełdach, a teraz zamierzam wdrożyć w niej moją pierwszą sieć neuronową. Bardzo prosty i prymitywny, nieprzeznaczony do prawdziwego handlu, tylko na początek. Chcę tylko wiedzieć, czy moje podejście jest dobre. A jeśli …

17 machine-learning neural-networks

1

Chcę zbudować wskaźnik przestępczości i wskaźnik niestabilności politycznej oparty na wiadomościach

Mam ten poboczny projekt, w którym indeksuję lokalne serwisy informacyjne w moim kraju i chcę zbudować wskaźnik przestępczości i wskaźnik niestabilności politycznej. Omówiłem już część projektu dotyczącą wyszukiwania informacji. Mój plan to zrobić: Ekstrakcja tematu bez nadzoru. Wykrywanie bliskich duplikatów. Nadzorowana klasyfikacja i poziom incydentów (przestępczość / polityka - wysoka …

17 machine-learning classification text-mining

3

Porównanie wyników dokładności dwóch klasyfikatorów dla istotności statystycznej z testem t

Chcę porównać dokładność dwóch klasyfikatorów dla istotności statystycznej. Oba klasyfikatory działają na tym samym zestawie danych. To prowadzi mnie do przekonania, że powinienem używać testu t jednej próbki z tego, co czytałem . Na przykład: Classifier 1: 51% accuracy Classifier 2: 64% accuracy Dataset size: 78,000 Czy to właściwy test? …

17 machine-learning statistical-significance classification t-test

1

Parametry wejściowe do użycia ukrytego przydziału Dirichleta

Podczas korzystania z modelowania tematów (Latent Dirichlet Allocation) liczba tematów jest parametrem wejściowym, który użytkownik musi określić. Wydaje mi się, że powinniśmy również dostarczyć zbiór kandydujących zestawów tematów, z którymi proces Dirichleta musi próbkować? Czy moje rozumowanie jest prawidłowe? W praktyce, jak skonfigurować tego rodzaju zestaw tematów kandydujących?

17 machine-learning bayesian clustering text-mining dirichlet-distribution

12

Najlepsze książki na wprowadzenie do analizy danych statystycznych?

Zablokowana . To pytanie i odpowiedzi są zablokowane, ponieważ pytanie jest nie na temat, ale ma znaczenie historyczne. Obecnie nie akceptuje nowych odpowiedzi ani interakcji. Kupiłem tę książkę: Jak mierzyć cokolwiek: Znajdowanie wartości niematerialnych w biznesie i Pierwsza analiza danych: przewodnik dla uczących się po dużych liczbach, statystykach i dobrych …

17 machine-learning bayesian references

3

Jakie algorytmy wymagają skalowania funkcji oprócz SVM?

Pracuję z wieloma algorytmami: RandomForest, DecisionTrees, NaiveBayes, SVM (jądro = liniowy i rbf), KNN, LDA i XGBoost. Wszystkie były dość szybkie, z wyjątkiem SVM. Właśnie wtedy dowiedziałem się, że potrzebuje skalowania funkcji, aby działać szybciej. Potem zacząłem się zastanawiać, czy powinienem zrobić to samo dla innych algorytmów.

17 machine-learning svm random-forest naive-bayes xgboost

1

Jak zbudować ostateczny model i dostroić próg prawdopodobieństwa po zagnieżdżonej weryfikacji krzyżowej?

Po pierwsze, przepraszam za opublikowanie pytania, które zostało już obszernie omówione tutaj , tutaj , tutaj , tutaj , tutaji do odtworzenia starego tematu. Wiem, że @DikranMarsupial pisał na ten temat obszernie w postach i gazetach, ale nadal jestem zdezorientowany i sądząc po liczbie podobnych postów tutaj, wciąż jest to …

17 machine-learning cross-validation model-selection glmnet hyperparameter

Pytania otagowane jako machine-learning