Statystyki i duże zbiory danych sparse

7

Odległość euklidesowa zwykle nie jest dobra dla rzadkich danych?

Widziałem gdzieś, że klasyczne odległości (takie jak odległość euklidesowa) stają się słabo dyskryminujące, gdy mamy wielowymiarowe i rzadkie dane. Dlaczego? Czy masz przykład dwóch rzadkich wektorów danych, w których odległość euklidesowa nie działa dobrze? W takim przypadku, jakiego podobieństwa powinniśmy użyć?

72 machine-learning clustering data-mining sparse euclidean

3

Jak dokładnie rzadkie PCA jest lepsze od PCA?

Dowiedziałem się o PCA kilka wykładów temu na zajęciach i kopiąc więcej o tej fascynującej koncepcji, poznałem rzadkie PCA. Chciałem zapytać, jeśli się nie mylę, to jest to rzadkie PCA: w PCA, jeśli masz punktów danych ze zmiennymi , możesz zastosować każdy punkt danych w przestrzeni wymiarowej przed zastosowaniem PCA. …

24 machine-learning pca sparse

4

Czy istnieje implementacja Random Forest, która działa dobrze z bardzo rzadkimi danymi?

Czy istnieje przypadkowa implementacja lasu R, która działa dobrze z bardzo rzadkimi danymi? Mam tysiące lub miliony boolowskich zmiennych wejściowych, ale tylko setki będą PRAWDĄ dla każdego podanego przykładu. Jestem stosunkowo nowy w R i zauważyłem, że istnieje pakiet „Matrix” do radzenia sobie z rzadkimi danymi, ale wydaje się, że …

23 r random-forest sparse

1

Różnica między brakującymi danymi a danymi rzadkimi w algorytmach uczenia maszynowego

Jakie są główne różnice między danymi rzadkimi a brakującymi? Jak wpływa na uczenie maszynowe? Mówiąc dokładniej, jaki wpływ rzadkie dane i brakujące dane mają na algorytmy klasyfikacji i algorytmy regresji (przewidywania liczb). Mówię o sytuacji, w której odsetek brakujących danych jest znaczny i nie możemy upuścić wierszy zawierających brakujące dane.

20 machine-learning dataset missing-data sparse

1

Algorytmy grupowania, które działają na rzadkich macierzach danych [zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 5 lat temu . Próbuję skompilować listę algorytmów klastrowania, które są: Zaimplementowano w R Operuj na rzadkich macierzach danych (nie (nie) macierzach podobieństwa), takich jak …

18 r clustering sparse

4

Norms - Co jest specjalnego w ?

normą jest unikalny (przynajmniej częściowo), ponieważ znajduje się na granicy między uwypuklony i wypukłe. normą jest „najbardziej rzadki” norma wypukły (prawda?). p = 1 L 1L1L1L_1p=1p=1p=1L1L1L_1 Rozumiem, że norma euklidesowa ma korzenie w geometrii i ma jasną interpretację, gdy wymiary mają te same jednostki. Ale nie rozumiem, dlaczego jest stosowany …

13 regression regularization sparse

1

Czy rzadki zestaw treningowy niekorzystnie wpływa na SVM?

Próbuję klasyfikować wiadomości do różnych kategorii za pomocą SVM. Przygotowałem listę pożądanych słów / symboli z zestawu szkoleniowego. Dla każdego wektora, który reprezentuje komunikat, ustawiam odpowiedni wiersz, 1jeśli słowo jest obecne: „ciało” to: [mary, mała, jagnięca, gwiazda, migotanie] pierwsza wiadomość: „Mary miała małą owieczkę” -> [1 1 1 0 0] …

12 classification svm sparse

1

Jakie są normy i jakie mają znaczenie dla regularyzacji?

Ostatnio widziałem wiele artykułów na temat rzadkich reprezentacji, a większość z nich używa normy i dokonuje pewnych minimalizacji. Moje pytanie brzmi: co to jest norma , a norma ? A w jaki sposób mają one znaczenie dla regularyzacji?ℓ pℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Dzięki

12 machine-learning regularization sparse

1

Czy możliwa jest nawet PCA na dużą skalę?

Klasycznym sposobem analizy głównych składowych (PCA) jest wykonanie macierzy danych wejściowych, których kolumny mają zerową średnią (wtedy PCA może „maksymalizować wariancję”). Można to łatwo osiągnąć poprzez centrowanie kolumn. Jednak gdy matryca wejściowa jest rzadka, matryca środkowa będzie już rzadsza i - jeśli matryca jest bardzo duża - nie będzie już …

10 pca algorithms dimensionality-reduction large-data sparse

1

Jak włączyć innowacyjną wartość odstającą przy obserwacji 48 w moim modelu ARIMA?

Pracuję nad zestawem danych. Po zastosowaniu niektórych technik identyfikacji modelu, wyszłam z modelem ARIMA (0,2,1). Użyłem detectIOfunkcji w pakiecie TSAw R do wykrycia innowacyjnej wartości odstającej (IO) przy 48. obserwacji mojego oryginalnego zestawu danych. Jak włączyć tę wartość odstającą do mojego modelu, aby móc jej używać do celów prognozowania? Nie …

10 r time-series arima outliers hypergeometric fishers-exact r time-series intraclass-correlation r logistic glmm clogit mixed-model spss repeated-measures ancova machine-learning python scikit-learn distributions data-transformation stochastic-processes web standard-deviation r machine-learning spatial similarities spatio-temporal binomial sparse poisson-process r regression nonparametric r regression logistic simulation power-analysis r svm random-forest anova repeated-measures manova regression statistical-significance cross-validation group-differences model-comparison r spatial model-evaluation parallel-computing generalized-least-squares r stata fitting mixture hypothesis-testing categorical-data hypothesis-testing anova statistical-significance repeated-measures likert wilcoxon-mann-whitney boxplot statistical-significance confidence-interval forecasting prediction-interval regression categorical-data stata least-squares experiment-design skewness reliability cronbachs-alpha r regression splines maximum-likelihood modeling likelihood-ratio profile-likelihood nested-models

4

Indywidualna regularyzacja dla matryc stochastycznych

Dobrze wiadomo (np. W dziedzinie wykrywania kompresji), że norma „indukuje ” w tym sensie, że jeśli zminimalizujemy funkcjonalność (dla stałej macierzy i wektora ) dla wystarczająco dużych \ lambda> 0 , prawdopodobnie istnieje wiele opcji A , \ vec {b} , a \ lambda ma wiele dokładnie zerowych pozycji w …

10 regression matrix normalization regularization sparse

2

Generuj symetryczną dodatnią określoną macierz z wcześniej określonym wzorcem sparsity

Próbuję wygenerować macierz korelacji p×pp×pp\times p (symetryczny psd) z wcześniej określoną strukturą sparsity (określoną przez wykres na pppwęzły). Węzły połączone na wykresie mają korelacjęρ∼U(0,1)ρ∼U(0,1)\rho \sim U(0,1), reszta to 0, a przekątna to 1. Próbowałem wygenerować tę macierz kilka razy, ale rzadko otrzymuję prawidłową macierz korelacji. Czy istnieje sposób, aby zapewnić …

9 correlation matrix sparse correlation-matrix

1

Jakich wskazówek należy przestrzegać przy korzystaniu z sieci neuronowych o rzadkich wejściach

Mam bardzo rzadkie dane wejściowe, np. Lokalizacje niektórych funkcji na obrazie wejściowym. Co więcej, każda funkcja może mieć wiele detekcji (nie jestem pewien, czy będzie to miało wpływ na projekt systemu). Będę to przedstawiał jako obraz binarny kanału k z pikselami ON reprezentującymi obecność tej cechy i odwrotnie. Widzimy, że …

9 neural-networks deep-learning sparse

2

Wybór liczby rzadkich głównych składników, które należy uwzględnić w regresji

Czy ktoś ma doświadczenie w podejściu do wyboru liczby rzadkich głównych składników, które należy uwzględnić w modelu regresji?

9 pca sparse regression-strategies

Pytania otagowane jako sparse