Statystyki i duże zbiory danych

2

Zrozumienie i zastosowanie analizy nastrojów

Właśnie przydzielono mi projekt przeprowadzania analizy sentymentu dla niektórych zbiorów dokumentów. Przez Googling pojawiło się wiele badań związanych z sentymentem. Moje pytania to: Jakie są główne metody / algorytmy analizy sentymentów w dziedzinie uczenia maszynowego i analizy statystycznej? Czy są jakieś ugruntowane wyniki? Czy istnieje jakieś oprogramowanie typu open source, …

9 machine-learning data-mining text-mining information-retrieval sentiment-analysis

1

Klasyfikacja z jednym dominującym predyktorem

Mam problem z klasyfikacją ( klasy), rzędu 100 prawdziwych predyktorów, z których jeden wydaje się mieć znacznie większą moc wyjaśniającą niż jakikolwiek inny. Chciałbym głębiej zapoznać się z efektami innych zmiennych. Jednak standardowe techniki uczenia maszynowego (losowe lasy, maszyny SVM itp.) Wydają się być zatapiane przez jeden silny predyktor i …

9 machine-learning classification

1

Proste pytanie o kombinację / prawdopodobieństwo oparte na długości łańcucha i możliwych znakach

Zakładając „całkowitą losowość” i ciąg o długości 20 znaków, przy czym każdy znak może być jednym z 62 możliwych znaków: Jaka jest łączna liczba możliwych kombinacji? (Zgadywanie 20 do potęgi 62.) Ponadto, jeśli nowe ciągi są losowo wybierane jeden po drugim i dodawane do listy wybranych do tej pory ciągów, …

9 probability combinatorics

3

Korelacja między macierzami w R

Mam problemy z korzystaniem z funkcji cor()i cor.test(). Mam tylko dwie macierze (tylko wartości liczbowe i taką samą liczbę wierszy i kolumn) i chcę mieć liczbę korelacji i odpowiednią wartość p. Kiedy używam cor(matrix1, matrix2), otrzymuję współczynniki korelacji dla wszystkich komórek. Chcę tylko jedną liczbę w wyniku kore. Dodatkowo, kiedy …

9 r correlation

1

Jak rozumieć znormalizowane resztki w analizie regresji?

Według analizy regresji według przykładu , reszta jest różnicą między odpowiedzią a wartością przewidywaną, a następnie mówi się, że każda reszta ma inną wariancję, więc musimy rozważyć standaryzowane reszty. Ale wariancja dotyczy grupy wartości, w jaki sposób pojedyncza wartość może mieć wariancję?

9 regression residuals

2

Wpływ na błąd systematyczny w odpowiedziach na ankietę

Mam dużą ankietę, w której zapytano uczniów, między innymi, o poziom wykształcenia ich matki. Niektórzy pominęli to, a niektórzy odpowiedzieli błędnie. Wiem o tym, ponieważ tam była próba częściowa pierwotnych respondentów matki, która została później przesłuchana i zadała to samo pytanie. (Jestem pewien, że z odpowiedziami matek wiąże się również …

9 data-imputation

1

Jak mogę udowodnić, że dane eksperymentu są zgodne z rozkładem ciężkim ogonem?

Mam kilka wyników testu opóźnienia odpowiedzi serwera. Zgodnie z naszą analizą teoretyczną, rozkład opóźnień (funkcja rozkładu prawdopodobieństwa opóźnienia odpowiedzi) powinna mieć charakter ciężki. Ale jak mogę udowodnić, że wynik testu przebiega zgodnie z rozkładem ciężkim?

9 regression distributions probability normal-distribution mathematical-statistics

2

Co to jest francuska analiza danych?

Niektóre metody statystyczne - nie pamiętam, czy jest to analiza głównego składnika, czy coś w tym rodzaju - są czasami nazywane „francuską analizą danych”. Co to właściwie jest ? A niektórzy mówią, że to imię jest ironiczne, czy to prawda i dlaczego?

9 multivariate-analysis terminology correspondence-analysis

3

Jak zastosować pojęcie współczynnika dla czynników i składników interaktywnych w równaniu liniowym?

Za pomocą R dopasowałem model liniowy dla jednej zmiennej odpowiedzi z mieszanki predyktorów ciągłych i dyskretnych. Jest to uber-podstawowe, ale mam problem z uchwyceniem, jak działa współczynnik dla współczynnika dyskretnego. Pojęcie: Oczywiście współczynnik zmiennej ciągłej „x” jest stosowany w postaci, y = coefx(varx) + interceptale jak to działa dla współczynnika …

9 linear-model regression-coefficients contrasts

2

Jak przeprowadzić selekcję zmiennych algorytmu genetycznego w R dla zmiennych wejściowych SVM?

Używam kernlab paczkę w R zbudować SVM klasyfikowania niektórych danych. SVM działa dobrze, ponieważ zapewnia „przewidywania” przyzwoitej dokładności, jednak moja lista zmiennych wejściowych jest większa niż chciałbym i nie jestem pewien co do względnej ważności różnych zmiennych. Chciałbym zaimplementować algorytm genetyczny, aby wybrać podzestaw zmiennych wejściowych, który tworzy najlepiej wyszkolony …

9 r machine-learning svm genetic-algorithms

4

Jak wartość oczekiwana odnosi się do średniej, mediany itp. W rozkładzie nienormalnym?

Jak oczekiwana wartość ciągłej zmiennej losowej odnosi się do jej średniej arytmetycznej, mediany itp. W rozkładzie nienormalnym (np. Skośno-normalnym)? Interesują mnie wszelkie popularne / interesujące dystrybucje (np. Log-normal, proste dystrybucje bi / multimodalne, wszystko inne dziwne i wspaniałe). Szukam głównie odpowiedzi jakościowych, ale wszelkie ilościowe lub formalne odpowiedzi są również …

9 mean expected-value median

2

Korelacja krzyżowa a wzajemna informacja

Jaka jest różnica między korelacją krzyżową a informacjami wzajemnymi. Jakie problemy można rozwiązać za pomocą tych środków i kiedy należy zastosować jeden nad drugim. Dziękuję za komentarze. Aby wyjaśnić, pytanie wynika raczej z zainteresowania analizą promieniowania niż analizy szeregów czasowych, chociaż docenione zostanie również każde oświecenie w tej dziedzinie

9 cross-correlation mutual-information

2

Jak wykonać test rang podpisany przez Wilcoxona dla danych dotyczących przeżycia w R?

Powiedz, że masz takie dane o przeżyciu: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Aby wykonać standardowy test rang dziennika, można użyć survdiff(Surv(time, status) ~ group, data = obs, rho = 0) dobrze? Ale …

9 r survival wilcoxon-signed-rank

4

Standardowe algorytmy do wykonywania hierarchicznej regresji liniowej?

Czy istnieją standardowe algorytmy (w przeciwieństwie do programów) do wykonywania hierarchicznej regresji liniowej? Czy ludzie zwykle po prostu wykonują MCMC, czy są bardziej wyspecjalizowane, być może częściowo zamknięte, algorytmy?

9 regression bayesian multiple-regression multilevel-analysis irls

1

Wzrost skorygowany sezonowo z miesiąca na miesiąc z podstawową tygodniową sezonowością

Jako hobby poboczne zajmowałem się prognozowaniem szeregów czasowych (w szczególności przy użyciu R). Dla moich danych mam liczbę odwiedzin dziennie, na każdy dzień sięgający prawie 4 lat. W tych danych są pewne wyraźne wzorce: Poniedziałek-piątek ma wiele odwiedzin (najwyższe w Pon / Wt), ale drastycznie mniej w soboty i soboty. …

9 r time-series seasonality forecasting