Statystyki i duże zbiory danych correlation

3

Generuj pary liczb losowych równomiernie rozmieszczonych i skorelowanych

Chciałbym wygenerować pary liczb losowych z pewną korelacją. Jednak zwykłe podejście polegające na stosowaniu kombinacji liniowej dwóch zmiennych normalnych nie jest tutaj poprawne, ponieważ kombinacja liniowa zmiennych jednolitych nie jest już zmienną równomiernie rozłożoną. Potrzebuję dwóch zmiennych, aby były jednolite. Masz pomysł, jak wygenerować pary zmiennych jednorodnych o zadanej korelacji?

14 correlation random-generation uniform

5

Czy istnieje prosty sposób wykrywania wartości odstających?

Zastanawiam się, czy istnieje prosty sposób wykrywania wartości odstających. W przypadku jednego z moich projektów, który był w zasadzie korelacją między liczbą osób biorących udział w aktywności fizycznej w ciągu tygodnia a liczbą posiłków poza domem (fast food) w ciągu tygodnia, narysowałem wykres rozrzutu i dosłownie usunąłem punkty danych, które …

14 correlation outliers

3

Czy sensowne jest, aby korelacja częściowa była większa niż korelacja zerowego rzędu?

Prawdopodobnie świadczy to o zasadniczym braku zrozumienia działania korelacji cząstkowych. Mam 3 zmienne, x, y, z. Kiedy kontroluję z, korelacja między xiy wzrasta w stosunku do korelacji między xiy, gdy z nie było kontrolowane. Czy to ma sens? Wydaje mi się, że gdy kontroluje się efekt trzeciej zmiennej, korelacja powinna …

14 correlation

2

Obliczanie korelacji (i istotności wspomnianej korelacji) między parą szeregów czasowych

Mam dwie serie czasowe S i T. mają tę samą częstotliwość i tę samą długość. Chciałbym obliczyć (używając R) korelację między tą parą (tj. S i T), a także być w stanie obliczyć istotność korelacji), więc mogę ustalić, czy korelacja wynika z przypadku, czy nie. Chciałbym to zrobić w R …

14 r time-series correlation

1

GAM vs LOESS vs splajny

Kontekst : Chcę, aby narysować linię na wykresie rozrzutu, że nie pojawia się parametryczne, dlatego używam geom_smooth()w ggplotw R. Automatycznie zwraca geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method., …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

1

Czy istnieje intuicyjna charakterystyka korelacji odległości?

Patrzyłem na stronę wikipedii, aby znaleźć korelację odległości, na której wydaje się, że cechuje ją sposób jej obliczenia. O ile mogłem zrobić obliczenia walczę aby uzyskać środki korelacji jakiej odległości i dlatego obliczenia wyglądają tak robią. Czy istnieje (lub wiele) bardziej intuicyjna charakterystyka korelacji odległości, która mogłaby pomóc mi zrozumieć, …

14 correlation distance intuition distance-covariance

4

Jak suma dwóch zmiennych może wyjaśnić większą wariancję niż poszczególne zmienne?

Dostaję trochę kłopotliwych wyników dla korelacji sumy z trzecią zmienną, gdy dwa predyktory są ujemnie skorelowane. Co powoduje te kłopotliwe wyniki? Przykład 1: Korelacja między sumą dwóch zmiennych a trzecią zmienną Rozważ wzór 16.23 na stronie 427 tekstu Guildforda z 1965 r., Pokazany poniżej. Zakłopotanie: jeśli obie zmienne korelują .2 …

13 correlation multiple-regression

2

Czy skorelowane dane wejściowe prowadzą do nadmiernego dopasowania do sieci neuronowych?

Moim zdaniem skorelowane dane wejściowe muszą prowadzić do nadmiernego dopasowania w sieciach neuronowych, ponieważ sieć uczy się korelacji, np. Szumu w danych. Czy to jest poprawne?

13 correlation neural-networks overfitting

3

Kiedy odpowiednia jest transformata Z Fishera?

Chcę przetestować korelację próbki kątem istotności, stosując wartości p, to znaczyrrr H.0: ρ = 0 ,H.1: ρ ≠ 0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. Zrozumiałem, że mogę użyć transformacji Z Fishera, aby to obliczyć zo b s= n - 3-----√2)ln( 1 + r1 - r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) i …

13 correlation sample-size fisher-transform

4

Jak obliczyć korelację między / w grupach zmiennych?

Mam macierz 1000 obserwacji i 50 zmiennych mierzonych w 5-punktowej skali. Te zmienne są zorganizowane w grupy, ale w każdej grupie nie ma równej liczby zmiennych. Chciałbym obliczyć dwa rodzaje korelacji: Korelacja w obrębie grup zmiennych (między cechami): pewna miara tego, czy zmienne w grupie zmiennych mierzą to samo. Korelacja …

13 correlation psychometrics scales

1

LARS vs zejście współrzędnych dla lasso

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

1

Pakiet GBM vs. Caret korzystający z GBM

Stroiłem model przy użyciu caret, ale potem ponownie uruchomiłem model przy użyciu gbmpakietu. Rozumiem, że caretpakiet używa gbmi wynik powinien być taki sam. Jednak tylko szybki test przy użyciu data(iris)wykazuje rozbieżność w modelu około 5% przy użyciu RMSE i R ^ 2 jako metryki oceny. Chcę znaleźć optymalną wydajność modelu …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

4

Czy nierówności trójkąta są spełnione dla tych odległości opartych na korelacji?

W przypadku hierarchicznego grupowania często widzę następujące dwie „metryki” (nie do końca mówią) do pomiaru odległości między dwiema losowymi zmiennymi i : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, Y) i = 1- | \ Cor (X, Y) |, \\ d_2 (X, Y) i = …

13 correlation clustering distance metric

1

Wykorzystanie wzajemnych informacji do oszacowania korelacji między zmienną ciągłą a zmienną kategorialną

Jeśli chodzi o tytuł, chodzi o wykorzystanie wzajemnej informacji, tu i po MI, do oszacowania „korelacji” (zdefiniowanej jako „ile wiem o A, gdy znam B”) między zmienną ciągłą a zmienną kategorialną. Za chwilę opowiem o moich przemyśleniach na ten temat, ale zanim doradzę, przeczytajcie inne pytanie / odpowiedź na CrossValidated, …

13 correlation information-theory mutual-information

2

Zależność między współczynnikami korelacji phi, Matthewsa i Pearsona

Czy współczynniki korelacji phi i Matthewsa to ta sama koncepcja? W jaki sposób są one powiązane lub równoważne ze współczynnikiem korelacji Pearsona dla dwóch zmiennych binarnych? Zakładam, że wartości binarne to 0 i 1. Korelacja Pearsona między dwiema zmiennymi losowymi Bernoulliego i wynosi:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y …

13 correlation contingency-tables bernoulli-distribution model-evaluation confusion-matrix

Pytania otagowane jako correlation