Statystyki i duże zbiory danych

1

Klasyfikacja warstwowa z losowymi lasami (lub innym klasyfikatorem)

Mam więc macierz o wymiarach około 60 x 1000. Patrzę na nią jako na 60 obiektów z 1000 cechami; 60 obiektów jest pogrupowanych w 3 klasy (a, b, c). 20 obiektów w każdej klasie i znamy prawdziwą klasyfikację. Chciałbym przeprowadzić nadzorowaną naukę na tym zestawie 60 przykładów szkoleniowych. Interesuję się …

12 machine-learning classification multilevel-analysis random-forest stratification

1

Jakie są normy i jakie mają znaczenie dla regularyzacji?

Ostatnio widziałem wiele artykułów na temat rzadkich reprezentacji, a większość z nich używa normy i dokonuje pewnych minimalizacji. Moje pytanie brzmi: co to jest norma , a norma ? A w jaki sposób mają one znaczenie dla regularyzacji?ℓ pℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Dzięki

12 machine-learning regularization sparse

2

Worek słów a model przestrzeni wektorowej?

Jaka jest / są różnice między tymi modelami reprezentacji tekstu: Worek słów i model przestrzeni wektorowej?

12 machine-learning text-mining

5

Przedział ufności i prawdopodobieństwo - gdzie jest błąd w tym stwierdzeniu?

Jeśli ktoś złoży oświadczenie takie jak poniżej: „Ogólnie rzecz biorąc, osoby niepalące narażone na dym środowiskowy miały względne ryzyko choroby niedokrwiennej serca wynoszące 1,25 (95 procent przedział ufności, 1,17 do 1,32) w porównaniu z osobami niepalącymi nie narażonymi na dym”. Jakie jest względne ryzyko dla całej populacji? Ile rzeczy jest …

12 probability statistical-significance confidence-interval conditional-probability philosophical

3

Jaka jest różnica między zależnością liniową a korelacją liniową?

Wyjaśnij, jaka jest różnica między dwiema zmiennymi zależnymi liniowo lub skorelowanymi liniowo . Przejrzałem artykuł na Wikipedii, ale nie znalazłem odpowiedniego przykładu. Wyjaśnij to na przykładzie.

12 correlation non-independent

4

Jakie są standardowe testy statystyczne, aby sprawdzić, czy dane są zgodne z rozkładem wykładniczym czy normalnym?

12 distributions hypothesis-testing normal-distribution

1

Wielowymiarowy rozkład normalny współczynnika regresji?

Czytając podręcznik regresji napotkałem następujący akapit: Oszacowanie najmniejszych kwadratów wektora współczynników regresji liniowej ( ) toββ\beta β^= ( XtX)- 1Xtyβ^=(XtX)-1Xty \hat{\beta} = (X^{t}X)^{-1}{X^t}y która, widziana jako funkcja danych (z uwzględnieniem predyktorów X jako stałych), jest liniową kombinacją danych. Korzystając z centralnego twierdzenia granicznego, można wykazać, że rozkład β będzie w …

12 multiple-regression

2

Co to oznacza, gdy korelacja Spearmana jest o określoną kwotę mniejsza niż Pearson?

Mam kilka powiązanych zestawów danych. Korelacje Pearsona między ich parami są zwykle zdecydowanie większe niż korelacje włóczni. Sugeruje to, że jakakolwiek korelacja jest liniowa, ale można się spodziewać, że nawet jeśli pearson i włócznik byli tacy sami. Co to znaczy, gdy istnieje wyraźna luka między korelacją Pearsona i Spearmana, a …

12 correlation spearman-rho pearson-r

1

Jak dopasować nieliniowy model efektów mieszanych dla danych z powtarzanymi pomiarami za pomocą nlmer ()?

Próbuję analizować dane z powtarzanych pomiarów i staram się, aby to zadziałało R. Moje dane są zasadniczo następujące, mam dwie grupy leczenia. Każdy przedmiot w każdej grupie jest codziennie testowany i otrzymuje wynik (procent poprawny na teście). Dane są w długim formacie: Time Percent Subject Group 1 0 GK11 Ethanol …

12 r mixed-model repeated-measures lme4-nlme

3

Związek między dwoma szeregami czasowymi: ARIMA

Biorąc pod uwagę następujące dwa szeregi czasowe ( x , y ; patrz poniżej), jaka jest najlepsza metoda modelowania związku między długoterminowymi trendami w tych danych? Oba szeregi czasowe mają znaczące testy Durbina-Watsona, gdy są modelowane jako funkcja czasu i żadne z nich nie jest stacjonarne (jak rozumiem ten termin, …

12 regression time-series arima

1

Dowód, że jeśli istnieje wyższy moment, wówczas również istnieje niższy moment

-ty moment zmiennej losowej jest skończony , jeśli XrrrXXXE ( | Xr| )<∞E(|Xr|)<∞ \mathbb E(|X^r|)< \infty Próbuję pokazać, że dla dowolnej dodatniej liczby całkowitej , wtedy -ty moment jest również skończony.s E [ | X s | ]s < rs<rs<rsssE [ | Xs| ]E[|Xs|]\mathbb E[|X^s|]

12 self-study moments function

4

Bootstrap, Monte Carlo

W ramach pracy domowej postawiono mi następujące pytanie: Zaprojektuj i zaimplementuj badanie symulacyjne w celu zbadania wydajności bootstrapu w celu uzyskania 95% przedziałów ufności na podstawie średniej próbki danych. Twoja implementacja może być w języku R lub SAS. Aspekty wydajności, na które możesz chcieć spojrzeć, to pokrycie przedziału ufności (tj. …

12 r self-study bootstrap monte-carlo

3

Jak ponownie próbkować w R bez powtarzania permutacji?

Czy w R, jeśli ustawię set.seed (), a następnie użyję przykładowej funkcji do losowej listy, czy mogę zagwarantować, że nie wygeneruję tej samej permutacji? to znaczy... set.seed(25) limit <- 3 myindex <- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations <- sample(myindex) print(permutations) } To produkuje [1] 1 2 0 3 …

12 r sampling combinatorics resampling

2

Czy losowe lasy wykazują tendencyjne prognozy?

Myślę, że jest to proste pytanie, chociaż uzasadnienie dlaczego lub dlaczego nie może być. Powodem, dla którego pytam, jest to, że niedawno napisałem własną implementację RF i chociaż działa on dobrze, nie działa tak dobrze, jak się spodziewałem (na podstawie zestawu danych konkursowych Kaggle Photo Quality Prediction , zwycięskich wyników …

12 algorithms random-forest cart

6

Ukryte modele Markowa z algorytmem Baum-Welcha za pomocą pytona

Szukam implementacji Pythona (w czystym pythonie lub w opakowaniach istniejących) HMM i Baum-Welch. Jakieś pomysły? Właśnie przeszukałem google i znalazłem naprawdę kiepski materiał w odniesieniu do innych technik uczenia maszynowego. Czemu?

12 python hidden-markov-model