Właśnie natknąłem się na ten artykuł , który opisuje, jak obliczyć powtarzalność (aka niezawodność, aka korelacja wewnątrzklasowa) pomiaru za pomocą modelowania efektów mieszanych. Kod R byłby następujący:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Uważam, że takie podejście można również zastosować do obliczenia wiarygodności efektów (tj. Efektu sumarycznego kontrastu zmiennej z 2 poziomami), jak w:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Trzy pytania:

Czy powyższe obliczenia dla uzyskania punktowej oceny powtarzalności efektu mają sens?
Gdy mam wiele zmiennych, których powtarzalność chcę oszacować, dodanie ich wszystkich do tego samego dopasowania (np. lmer(dv~(iv1+iv2|unit)+iv1+iv2) Wydaje się dawać wyższe oszacowania powtarzalności niż tworzenie osobnego modelu dla każdego efektu. Ma to dla mnie sens obliczeniowy, ponieważ włączenie wielu efektów będzie miało tendencję do zmniejszania rezydualnej wariancji, ale nie jestem pewien, czy uzyskane szacunki powtarzalności są prawidłowe. Czy oni są?
Powyższy cytowany artykuł sugeruje, że profilowanie prawdopodobieństwa może pomóc mi uzyskać przedziały ufności dla oszacowań powtarzalności, ale, o ile mogę stwierdzić, confint(profile(fit))zapewnia jedynie przedziały dla wariancji przechwytywania i efektu, podczas gdy dodatkowo potrzebowałbym odstępu dla obliczenia wariancji resztkowej przedział powtarzalności, nie?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Mike Lawrence
źródło

Myślę, że mogę odpowiedzieć na twoje pytania dotyczące przynajmniej nieskorygowanych oszacowań powtarzalności, tj. Klasycznych korelacji wewnątrz klasy (ICC). Jeśli chodzi o „skorygowane” szacunki powtarzalności, przejrzałem papier, który podłączyłeś, i tak naprawdę nie widziałem, gdzie można znaleźć zastosowaną formułę? Na podstawie wyrażenia matematycznego wydaje się, że jest to powtarzalność średnich wyników (a nie poszczególnych wyników). Ale nie jest jasne, czy i tak jest to kluczowa część twojego pytania, więc zignoruję to.

(1.) Czy powyższe obliczenia mające na celu oszacowanie punktowe powtarzalności efektu mają sens?

Tak, proponowane wyrażenie ma sens, ale konieczna jest niewielka modyfikacja proponowanej formuły. Poniżej pokazuję, w jaki sposób można uzyskać proponowany współczynnik powtarzalności. Mam nadzieję, że to zarówno wyjaśnia koncepcyjne znaczenie współczynnika, jak i pokazuje, dlaczego pożądane byłoby jego nieznaczne zmodyfikowanie.

Na początek weźmy najpierw współczynnik powtarzalności w pierwszym przypadku i wyjaśnijmy, co to znaczy i skąd pochodzi. Zrozumienie tego pomoże nam zrozumieć bardziej skomplikowany drugi przypadek.

Tylko losowe przechwyty

W tym przypadku mieszanym modelem dla tej odpowiedzi w tej grupie jest gdzie przypadkowe przechwyty mają wariancję i reszty mają wariancję . $i$ $j$

y_{i j} = β_{0} + u_{0 j} + e_{i j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Teraz korelacja między dwiema zmiennymi losowymi i jest zdefiniowana jako $x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v a r (x) v a r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

Wyrażenie współczynnika ICC / powtarzalności następnie pochodzi pozwalając dwóch zmiennych losowych i są dwie obserwacje wciągane z tego samego grupy oraz jeśli uprościsz to, korzystając z podanych powyżej definicji i właściwości wariancji / kowariancji (procesu, którego tu nie pokażę, chyba że ty lub inni wolelibyście, żebym to zrobił), otrzymacie $x$ $y$ $j$

I C C = \frac{c o v (β_{0} + u_{0 j} + e_{i_{1} j}, β_{0} + u_{0 j} + e_{i_{2} j})}{\sqrt{v a r (β_{0} + u_{0 j} + e_{i_{1} j}) v a r (β_{0} + u_{0 j} + e_{i_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

I C C = \frac{σ_{u_{0}}^{2}}{σ_{u_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ Oznacza to, że ICC lub „nieskorygowany współczynnik powtarzalności” w tym przypadku ma prostą interpretację jako oczekiwana korelacja między obserwacjami pary z tego samego skupienia (pomniejszona o ustalone efekty, które w tym przypadku jest tylko wielką średnią). Fakt, że ICC można interpretować również jako odsetek wariancji w tym przypadku, jest przypadkowy; taka interpretacja nie jest ogólnie prawdą w przypadku bardziej skomplikowanych ICC. Podstawowa jest interpretacja jako pewnego rodzaju korelacja.

Losowe przechwyty i losowe stoki

Teraz w drugim przypadku musimy najpierw wyjaśnić, co dokładnie oznacza „niezawodność efektów (tj. Efekt sumarycznego kontrastu zmiennej z 2 poziomami)” - twoje słowa.

Najpierw układamy model. Model mieszany dla tej odpowiedzi w tej grupie poniżej tego poziomu predyktora kodowanego kontrastem to gdzie przypadkowe przechwyty mają wariancję , losowe stoki mają wariancję , losowe przechwyty i stoki mają kowariancję , a reszty mają wariancję . $i$ $j$ $k$ $x$

y_{i j k} = β_{0} + β_{1} x_{k} + u_{0 j} + u_{1 j} x_{k} + e_{i j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Jaka jest zatem „powtarzalność efektu” w tym modelu? Myślę, że dobrą definicją kandydata jest to, że jest to oczekiwana korelacja między dwiema parami różnic różnic obliczonych w ramach tego samego klastra , ale w różnych parach obserwacji . $j$ $i$

Tak więc para wyników różnicy byłaby (pamiętaj, że założyliśmy, że jest zakodowany kontrastem, więc ): i $x$ $|x_1|=|x_2|=x$

y_{i_{1} j k_{2}} - y_{i_{1} j k_{1}} = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + (u_{0 j} - u_{0 j}) + u_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) = 2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{i_{2} j k_{2}} - y_{i_{2} j k_{1}} = 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Podłączenie ich do wzoru korelacji daje nam co upraszcza do Zauważ, że ICC jest technicznie funkcją ! Jednak w tym przypadku może przyjąć tylko 2 możliwe wartości, a ICC jest identyczny dla obu tych wartości.

I C C = \frac{c o v (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}, 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}{\sqrt{v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

I C C = \frac{2 x^{2} σ_{u_{1}}^{2}}{2 x^{2} σ_{u_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

Jak widać, jest to bardzo podobne do współczynnika powtarzalności zaproponowanego w pytaniu, jedyną różnicą jest to, że wariancja losowego nachylenia musi być odpowiednio skalowana, jeśli wyrażenie ma być interpretowane jako ICC lub „nieskorygowany współczynnik powtarzalności”. Wyrażenie, które napisałeś działa w specjalnym przypadku, w którym predyktor jest zakodowany , ale ogólnie nie. $x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Gdy mam wiele zmiennych, których powtarzalność chcę oszacować, dodanie ich do tego samego dopasowania (np. lmer(dv~(iv1+iv2|unit)+iv1+iv2) Wydaje się dawać wyższe oszacowania powtarzalności niż tworzenie osobnego modelu dla każdego efektu. Ma to dla mnie sens obliczeniowy, ponieważ włączenie wielu efektów będzie miało tendencję do zmniejszania rezydualnej wariancji, ale nie jestem pewien, czy uzyskane szacunki powtarzalności są prawidłowe. Czy oni są?

Uważam, że praca z podobną pochodną, jak przedstawiono powyżej dla modelu z wieloma predyktorami z ich własnymi losowymi nachyleniami, pokazałaby, że powyższy współczynnik powtarzalności byłby nadal aktualny, z wyjątkiem dodatkowej komplikacji, że wyniki różnic, którymi jesteśmy zainteresowani koncepcyjnie, byłyby teraz mają nieco inną definicję: interesuje nas oczekiwana korelacja różnic między skorygowanymi średnimi po kontrolowaniu dla innych predyktorów w modelu.

Jeśli inne predyktory są ortogonalne względem predyktora będącego przedmiotem zainteresowania (jak np. W zrównoważonym eksperymencie), uważam, że opracowany powyżej współczynnik ICC / powtarzalność powinien działać bez żadnych modyfikacji. Jeśli nie są ortogonalne, musisz zmodyfikować formułę, aby uwzględnić to, co może się skomplikować, ale mam nadzieję, że moja odpowiedź podpowiedziała, jak to może wyglądać.

— Jake Westfall
źródło

Masz rację, Jake. Skorygowany ICC odnosi się do sekcji VII. EKSTRAPOLOWANA POWTARZALNOŚĆ I DZIEDZICTWO w powiązanym dokumencie. Autorzy piszą Ważne jest, aby odróżnić powtarzalność poszczególnych pomiarów od powtarzalności środków pomiaru $R$ $R_n$ .

— Gabra

Obliczanie powtarzalności efektów z modelu Lmer

Tylko losowe przechwyty

Losowe przechwyty i losowe stoki