Statystyki i duże zbiory danych machine-learning

8

Jak obliczyć precyzję / przywołanie dla klasyfikacji wieloklasowej-wielowarstwowej?

Zastanawiam się, jak obliczyć dokładność i przywołać miary dla wieloklasowej klasyfikacji wielopłaszczyznowej, tj. Klasyfikacji, w której występują więcej niż dwie etykiety i gdzie każde wystąpienie może mieć wiele etykiet?

72 machine-learning classification precision-recall multi-class

7

Odległość euklidesowa zwykle nie jest dobra dla rzadkich danych?

Widziałem gdzieś, że klasyczne odległości (takie jak odległość euklidesowa) stają się słabo dyskryminujące, gdy mamy wielowymiarowe i rzadkie dane. Dlaczego? Czy masz przykład dwóch rzadkich wektorów danych, w których odległość euklidesowa nie działa dobrze? W takim przypadku, jakiego podobieństwa powinniśmy użyć?

72 machine-learning clustering data-mining sparse euclidean

2

Rozwiązywanie parametrów regresji w formie zamkniętej vs opadanie gradientu

Na kursie uczenia maszynowego Andrew Nga wprowadza regresję liniową i regresję logistyczną oraz pokazuje, jak dopasować parametry modelu za pomocą spadku gradientu i metody Newtona. Wiem, że zejście gradientowe może być przydatne w niektórych aplikacjach uczenia maszynowego (np. Propagacja wsteczna), ale w bardziej ogólnym przypadku jest jakiś powód, dla którego …

71 regression machine-learning logistic gradient-descent

8

Umiejętności trudne do znalezienia u uczących się maszyn?

Wydaje się, że eksploracja danych i uczenie maszynowe stały się tak popularne, że teraz prawie każdy student CS wie o klasyfikatorach, klastrowaniu, statystycznym NLP ... itd. Wygląda więc na to, że znalezienie eksploratorów danych nie jest obecnie trudną sprawą. Moje pytanie brzmi: jakie umiejętności mógłby nauczyć się eksplorator danych, co …

71 machine-learning data-mining

1

Jak podzielić zestaw danych w celu weryfikacji krzyżowej, krzywej uczenia się i oceny końcowej?

Jaka jest odpowiednia strategia podziału zestawu danych? Pytam o opinie na następujące podejście (nie na poszczególnych parametrów, takich jak test_sizeczy n_iter, ale jeśli kiedyś X, y, X_train, y_train, X_test, a y_testwłaściwie i czy sekwencja ma sens): (rozszerzenie tego przykładu z dokumentacji scikit-learn) 1. Załaduj zestaw danych from sklearn.datasets import load_digits …

69 machine-learning cross-validation python scikit-learn

9

Jakiego algorytmu należy użyć do wykrywania nieprawidłowości w szeregach czasowych?

tło Pracuję w Network Operations Center, monitorujemy systemy komputerowe i ich wydajność. Jednym z kluczowych wskaźników do monitorowania jest liczba odwiedzających \ klientów aktualnie podłączonych do naszych serwerów. Aby to pokazać, zbieramy takie dane, jak dane szeregów czasowych i rysujemy wykresy. Grafit pozwala nam to zrobić, ma dość bogaty interfejs …

69 machine-learning time-series python computational-statistics anomaly-detection

4

Jak dostroić hiperparametry drzew xgboost?

Mam dane niezrównoważone w klasie i chcę dostroić hiperparametry wzmocnionego warkocza za pomocą xgboost. pytania Czy istnieje odpowiednik gridsearchcv lub randomsearchcv dla xgboost? Jeśli nie, jakie jest zalecane podejście do dostrojenia parametrów xgboost?

68 machine-learning cross-validation xgboost boosting

6

Zmienny wybór do modelowania predykcyjnego naprawdę potrzebny w 2016 roku?

To pytanie zostało zadane w CV kilka lat temu, wydaje się, że warto je przesłać w świetle 1) lepszej technologii obliczeniowej rzędu wielkości (np. Obliczenia równoległe, HPC itp.) I 2) nowszych technik, np. [3]. Po pierwsze, jakiś kontekst. Załóżmy, że celem nie jest testowanie hipotez, nie szacowanie efektów, ale przewidywanie …

67 machine-learning modeling feature-selection model-selection prediction

3

Właściwy sposób wykorzystania rekurencyjnej sieci neuronowej do analizy szeregów czasowych

Nawracające sieci neuronowe różnią się od „zwykłych” siecią tym, że mają warstwę „pamięci”. Z powodu tej warstwy rekurencyjne NN powinny być przydatne w modelowaniu szeregów czasowych. Nie jestem jednak pewien, czy dobrze rozumiem, jak ich używać. Powiedzmy, że mam następujące szeregi czasowe (od lewej do prawej): [0, 1, 2, 3, …

67 time-series machine-learning neural-networks

4

Co sprawia, że jądro Gaussa jest tak magiczne dla PCA i ogólnie?

Czytałem o jądrze PCA ( 1 , 2 , 3 ) z jądrem Gaussa i wielomianem. W jaki sposób jądro Gaussa wyjątkowo dobrze oddziela pozornie jakiekolwiek dane nieliniowe? Proszę podać intuicyjną analizę, a także matematycznie, jeśli to możliwe. Jaka jest właściwość jądra Gaussa (z idealnym σσ\sigma ), czego inne jądra …

67 machine-learning pca svm kernel-trick

3

Jaka jest różnica między siecią neuronową a siecią głębokiego przekonania?

Odnoszę wrażenie, że gdy ludzie odnoszą się do sieci „głębokiego przekonania”, że jest to w zasadzie sieć neuronowa, ale bardzo duża. Czy jest to poprawne, czy też sieć głębokich przekonań sugeruje również, że sam algorytm jest inny (tj. Nie ma sieci neuronowej ze sprzężeniem zwrotnym, ale może coś z pętlami …

62 machine-learning neural-networks deep-learning deep-belief-networks

4

Softmax vs funkcja Sigmoid w klasyfikatorze logistycznym?

Co decyduje o wyborze funkcji (Softmax vs Sigmoid) w klasyfikatorze logistycznym? Załóżmy, że istnieją 4 klasy wyjściowe. Każda z powyższych funkcji podaje prawdopodobieństwo, że każda klasa będzie poprawnym wyjściem. Który wziąć do klasyfikatora?

62 machine-learning logistic classification softmax

2

Dlaczego tylko trzy partycje? (szkolenie, walidacja, test)

Gdy próbujesz dopasować modele do dużego zestawu danych, powszechną wskazówką jest podzielenie danych na trzy części: szkolenie, sprawdzanie poprawności i testowanie zestawu danych. Wynika to z faktu, że modele zwykle mają trzy „poziomy” parametrów: pierwszy „parametr” to klasa modelu (np. SVM, sieć neuronowa, losowy las), drugi zestaw parametrów to parametry …

61 machine-learning model-selection data-mining

9

Jak i dlaczego działa normalizacja i skalowanie funkcji?

Widzę, że wiele algorytmów uczenia maszynowego działa lepiej przy średnim anulowaniu i wyrównaniu kowariancji. Na przykład sieci neuronowe mają tendencję do szybszego konwergencji, a K-Means zazwyczaj zapewnia lepszą klastrowanie z wstępnie przetworzonymi funkcjami. Nie widzę intuicji za tymi krokami wstępnego przetwarzania, które prowadzą do poprawy wydajności. Czy ktoś może mi …

61 machine-learning neural-networks covariance normalization

8

Jak mogę pomóc upewnić się, że dane testowe nie przeciekają do danych szkoleniowych?

Załóżmy, że mamy kogoś, kto buduje model predykcyjny, ale ten ktoś niekoniecznie jest dobrze obeznany z właściwymi zasadami statystyki lub uczenia maszynowego. Może pomagamy tej osobie w trakcie nauki, a może ta osoba korzysta z pakietu oprogramowania, który wymaga minimalnej wiedzy. Teraz ta osoba może bardzo dobrze rozpoznać, że prawdziwy …

60 machine-learning classification predictive-models cross-validation out-of-sample

Pytania otagowane jako machine-learning