Test istotności różnicy współczynnika korelacji Spearmana

(Bardzo dziękuję za szybkie odpowiedzi! Zadałem kiepskie zadanie, więc pozwól mi spróbować ponownie.)

Nie wiem, jak sprawdzić, czy różnica między dwiema korelacjami Spearmana jest statystycznie istotna. Chciałbym wiedzieć, jak się tego dowiedzieć.

Powodem, dla którego chciałem się dowiedzieć, jest następujący artykuł: Semantyczna interpretacja semantyczna oparta na Wikipedii , opracowana przez Gabrilovicha i Markovitcha ( Journal of Artificial Intelligence Research 34 (2009) 443-498).

W tabeli 2 (s. 457) autorzy pokazują, że ich metoda (ESA-Wikipedia) osiąga wyższą i statystycznie istotną korelację Spearmana niż inne metody, i chciałbym zrobić to samo, aby pokazać, że moja metoda jest lepsza niż poprzednia metody na jakiś problem.

Nie wiem, jak obliczyli istotność statystyczną i chciałbym wiedzieć. Autor artykułu stwierdził, że korelacja rang Spearmana została potraktowana jako korelacja Pearsona. Nie jestem pewien, czy jest to właściwy sposób, aby to zrobić. Mam dwie korelacje Spearmana i chciałbym wiedzieć, czy różnica między nimi jest istotna statystycznie, czy nie.

Wiem, że strony internetowe, takie jak http://faculty.vassar.edu/lowry/rdiff.html , udostępniają kalkulator online do uzyskiwania różnicy między dwiema korelacjami Pearsona. Nie jestem w stanie znaleźć podobnego kalkulatora online dla różnicy między dwiema korelacjami Spearmana.

Rozwiązanie z linku dostarczonego przez Petera Floma

UWAGA: Procedury obsługują tylko korelacje Włócznika poniżej 0,6.

Niech = Fisher przekształcić obserwowanej korelacji zadanej , = Fisher przekształcić obserwowanej korelacji zadanej . $z_A$ $A$ $z_B$ $B$
Dla , niech , gdzie jest transformatą Fishera zbioru lewostronnego- poza korelację uzyskaną przez usunięcie , zmianę rankingu i ponowne obliczenie korelacji. (Każda opiera się parami, każdy delecja jest tymczasowy, za to tylko, nie jest stały.) Powtórzyć dla zbioru . $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ $n-1$ $B$
$\bar y_A = \sum y_{A_i}/n$ to zwinięta transformata Fishera. Powtórzyć dla zadanej . $B$
$v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ jest wariantem . Powtórzyć dla zadanej . $\bar y_A$ $B$
Użyj testu heteroscedastycznego (Welch-Satterthwaite) aby porównać dwie oszacowane wartości: $t$

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$ gdzie i to liczba próbek ustawionej i odpowiednio.

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Przed pierwszą edycją

Mam ludzki zestaw rankingów (RANKING CZŁOWIEKA), zestaw rankingów generowany za pomocą obecnie stosowanej, popularnej metody (OBECNY RANKING), a na koniec zestaw rankingów generowany według mojej zamierzonej metody (MY-RANKING) .

Obliczyłem korelację Spearmana między RANKINGIEM CZŁOWIEKA a RANKINGEM OBECNYM. Nazwijmy to: CZŁOWIEK-PREZENT-SPEARMAN.

Potem odkryłem korelację Włócznika między RANKINGIEM CZŁOWIEKA a RANKINGEM MÓJ. Nazwijmy to: CZŁOWIEK-MY-SPEARMAN.

Jak mogę się dowiedzieć, czy różnica między LUDZKIM MOIM SPEARMANEM a LUDZKIM PREZENTEM SPEARMANEM jest istotna statystycznie?

hypothesis-testing statistical-significance spearman-rho

— Patrick Chan
źródło

Witaj Patrick. Walczę z tym samym problemem, ale z Pearsonem r. Jeśli sprawdzisz moje wpisy, zrozumiesz, co możesz zrobić.

— Adhesh Josh

Chociaż możesz mieć trudności w sformułowaniu tego pytania w kategoriach statystycznych - przydatne byłoby, gdybyśmy wiedzieli, czym dokładnie jesteś zainteresowany. Czy interesuje Cię bliskość korelacji (jak dokładnie wyniki się przewidują) lub istnienie związku więcej niż przypadek. Biorąc pod uwagę, że wydaje się, że dane zostały uszeregowane w szeregu, powtarzane w czasie może być przydatne odczytanie współczynników korelacji wewnątrz klasy. Mam nadzieję, że mam rację, pytanie nie jest całkowicie jasne.

— rosser

Dzięki Adhesh i rosser. Przepraszam za słaby opis mojego pytania. Przepisałem to. Mam nadzieję, że stało się to zrozumiałym pytaniem.

— Patrick Chan,

Cześć! Obecnie zmagam się z tym samym problemem. Czy przypadkiem masz gotowy kod, który implementuje twoją sugestię? Ponadto, dlaczego działa tylko dla wartości korelacji poniżej 0,6?

— fsociety

Cytowany artykuł wyjaśnia tę metodę w następujący sposób:

[...] pokazujemy istotność statystyczną różnicy między wydajnością wersji ESA-Wikipedia (26 marca 2006 r.)) a wydajnością innych algorytmów za pomocą transformacji Z Fishera (Press, Teukolsky, Vetterling i Flannery, Numerical Przepisy w C: The Art of Scientific Computing . Cambridge University Press, 1997, sekcja 14.5).

Sugeruję skorzystanie z tego odniesienia lub zajrzenie na stronę Wikipedii na temat współczynnika Spearmana, aby uzyskać szczegółowe informacje.

— Guillermo G.
źródło

Dzięki Guillermo. Podejrzewałem, że potraktowali korelację rang Spearmana jako korelację Pearsona i obliczyli różnicę dwóch korelacji Pearsona. Wydaje mi się jednak, że nie jest to właściwy sposób, więc piszę tutaj.

— Patrick Chan,

Czy może znasz działającą implementację (najlepiej on-line), ponieważ właśnie o to chodzi w PO?

— chl