Obliczanie niezawodności między oceniającymi w R przy zmiennej liczbie ocen?

Wikipedia sugeruje, że jednym ze sposobów spojrzenia na wiarygodność między oceniającymi jest zastosowanie modelu efektów losowych do obliczenia korelacji wewnątrzklasowej . Przykład korelacji wewnątrzklasowej mówi o spojrzeniu

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

z modelu

Y_{i j} = μ + α_{i} + ϵ_{i j}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

„gdzie Y _ij jest j ^th obserwacji w i ^-tego grupy, μ jest niezauważalna ogólny średni, α _i jest niezauważalna efekt losowy podzielane przez wszystkich wartości w grupie I, a ε _ij jest niezauważalna termin hałas.”

Jest to atrakcyjny model, szczególnie dlatego, że w moich danych żaden oceniający nie ocenił wszystkich rzeczy (chociaż większość ocenił 20+), a rzeczy są oceniane zmienną liczbę razy (zwykle 3-4).

Pytanie nr 0: Czy „grupa i” w tym przykładzie („grupa i”) to grupa rzeczy ocenianych?

Pytanie nr 1: Jeśli szukam niezawodności między oceniającymi, czy nie potrzebuję modelu efektów losowych z dwoma terminami, jednym dla oceniającego, a drugim dla ocenianej rzeczy? W końcu oba mają możliwe warianty.

Pytanie nr 2: Jak najlepiej wyrazić ten model w języku R?

Wygląda na to, że to pytanie ma ładną propozycję:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Spojrzałem na kilka pytań , a składnia parametru „losowego” dla lme jest dla mnie nieprzejrzysta. Przeczytałem stronę pomocy dla lme , ale opis „losowy” jest dla mnie niezrozumiały bez przykładów.

To pytanie jest nieco podobny do długiej listy z pytaniami , z tego najbliżej. Jednak większość nie odnosi się szczegółowo do R.

r reliability random-effects-model agreement-statistics

— dfrankow
źródło

Model z efektem mieszanym i efektem losowym są kodowane w ten sam sposób w R. Aby uzyskać więcej informacji o tuto, zobacz ncbi.nlm.nih.gov/pmc/articles/PMC3402032 !

— noé

Model wymieniony w pytaniu nazywa się „modelem jednokierunkowym”. Zakłada, że losowe efekty rzędu są jedynym systematycznym źródłem wariancji. W przypadku wiarygodności między oceniającymi rzędy odpowiadają obiektom pomiaru (np. Przedmiotom).

Model jednokierunkowy : gdzie jest średnią dla wszystkich obiektów, jest efektem rzędu, a jest efektem resztkowym.
$x_{i j} = μ + r_{i} + w_{i j}$ $x_{ij} = \mu + r_i + w_{ij}$ $\mu$ $r_i$ $w_{ij}$

Istnieją jednak również „modele dwukierunkowe”. Zakładają one, że istnieje wariancja związana z losowymi efektami wierszy, a także losowymi lub stałymi efektami kolumnowymi. W przypadku wiarygodności międzyosobniczej kolumny odpowiadają źródłom pomiaru (np. Wskaźnikom).

Modele dwukierunkowe : gdzie jest średnią dla wszystkich obiekty, to efekt wiersza, to efekt kolumny, to efekt interakcji, a to efekt resztkowy. Różnica między tymi dwoma modelami polega na włączeniu lub wyłączeniu efektu interakcji.
$x_{i j} = μ + r_{i} + c_{j} + r c_{i j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ $x_{i j} = μ + r_{i} + c_{j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ $\mu$ $r_i$ $c_j$ $rc_{ij}$ $e_{ij}$

Biorąc pod uwagę model dwukierunkowy, można obliczyć jeden z czterech współczynników ICC: spójność pojedynczego wyniku ICC (C, 1), spójność średniej oceny ICC (C, k), zgodność pojedynczego wyniku ICC (A, 1) lub średni wynik punktowy ICC (A, k). ICC z pojedynczą punktacją odnoszą się do pojedynczych pomiarów (np. Poszczególnych wskaźników), podczas gdy ICC z średnią oceną odnoszą się do średnich pomiarów (np. Średnia z wszystkich wskaźników). Spójności ICC wykluczają wariancję kolumny z wariancji mianownika (np. Pozwalając wskaźnikom zmieniać się wokół własnych środków), podczas gdy ICC zgodności obejmują wariancję kolumny w wariancji mianownika (np. Wymagając, aby wskaźniki zmieniają się wokół tej samej średniej). $x_{ij}$ $\bar{x}_i$

Oto definicje, jeśli założymy przypadkowy efekt kolumny:

Dwukierunkowe definicje efektów losowych ICC (z efektem interakcji lub bez) :
$I C C (C, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $I C C (C, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2} / k}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $I C C (A, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $I C C (A, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2}) / k}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

Możesz również oszacować te wartości, używając średnich kwadratów z ANOVA:

Oszacowania dwukierunkowe ICC :
$ja do do (do, 1) = \frac{M. {S.}_{R} - M. {S.}_{mi}}{M. {S.}_{R} + (k - 1) M. {S.}_{mi}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $ja do do (do, k) = \frac{M. {S.}_{R} - M. {S.}_{mi}}{M. {S.}_{R}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $ja do do (ZA, 1) = \frac{M. {S.}_{R} - M. {S.}_{mi}}{M. {S.}_{R} + (k - 1) M. {S.}_{mi} + k / n (M. {S.}_{do} - M. {S.}_{mi})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $ja do do (ZA, k) = \frac{M. {S.}_{R} - M. {S.}_{mi}}{M. {S.}_{R} + (M. {S.}_{do} - M. {S.}_{mi}) / n}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

Możesz obliczyć te współczynniki w R za pomocą pakietu ir :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Bibliografia

McGraw, KO i Wong, SP (1996). Formułowanie wniosków na temat niektórych wewnątrzklasowych współczynników korelacji. Metody psychologiczne, 1 (1), 30–46.

Shrout, PE i Fleiss, JL (1979). Korelacje międzyklasowe: Wykorzystuje się do oceny wiarygodności oceny. Biuletyn psychologiczny, 86 (2), 420–428.

— Jeffrey Girard
źródło

Dzięki za świetną odpowiedź! W jaki sposób w modelu dwukierunkowym w ICC w R reprezentujemy losowy wybór wskaźników w wierszu? Wyobraź sobie, że mamy pulę 100 oceniających, a każdy badany ocenia około 5-10 z nich. Czy taki scenariusz może być obsłużony przez pakiet icc?

— michal

Każdy oceniający powinien mieć własną kolumnę w macierzy, którą podajesz do funkcji icc. W przeciwnym razie obliczenia są takie same dla modeli efektów losowych i mieszanych - główna różnica polega na interpretacji (na ile można uogólnić wyniki).

— Jeffrey Girard

Dziękuję za odpowiedź! Próbuję to zrobić, mając głównie NA w komórkach (i tylko kilka wartości z rzeczywistymi liczbami na kolumnę, gdzie konkretny oceniający oceniał obiekt odpowiadający rzędowi). Jednak w wyniku otrzymuję tekst z informacją, że nie zarejestrowano żadnych tematów (np. Tematy = 0 Raters = 9). Być może oznacza to, że gdziekolwiek co najmniej jedna NA została znaleziona, cały rząd jest filtrowany? Ale w jaki sposób mogę oznaczyć brakujące oceny od oceniającego?

— michal

Hmm, co może być ograniczeniem tej konkretnej funkcji icc. Mam skrypt MATLAB, który może poradzić sobie z tą sytuacją. Czy zdarza ci się mieć dostęp do MATLAB?

— Jeffrey Girard

Tak, sprawdź moją stronę internetową: mreliability.jmgirard.com

— Jeffrey Girard