Kwadratowa ocena inteligencji i określenie zwycięzcy

Istnieje podcast NPR o nazwie Intelligence Squared. Każdy odcinek jest transmisją debaty na żywo na temat kontrowersyjnego stwierdzenia, takiego jak „Druga poprawka nie ma już znaczenia” lub „Akcja afirmatywna na kampusach uniwersyteckich wyrządza więcej szkody niż pożytku”. Debata czterech przedstawicieli - dwóch za wnioskiem i dwóch przeciw.

Aby ustalić, która strona wygra, publiczność jest ankietowana zarówno przed debatą, jak i po niej. Stronę, która zyskała więcej pod względem bezwzględnego procentu, uznaje się za zwycięzcę. Na przykład:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuicyjnie uważam, że ta miara sukcesu jest stronnicza i zastanawiam się, jak można by sondować odbiorców, aby ustalić zwycięzcę w uczciwy sposób.

Trzy problemy, które natychmiast widzę za pomocą bieżącej metody:

W skrajności, jeśli jedna strona zaczyna ze 100% zgodą, może tylko remisować lub przegrać.
Jeśli nie ma decyzji, wówczas strona o mniejszej wstępnej zgodności może być postrzegana jako posiadająca większą próbkę do pobrania.
Niezdecydowana strona prawdopodobnie nie będzie naprawdę niezdecydowana. Jeśli założymy, że obie strony są jednakowo spolaryzowane, wydaje się, że nasze wcześniejsze przekonanie o niezdecydowanej populacji powinno być jeśli każda z nich była zmuszona opowiedzieć się po stronie . $\text{Beta}(\text{# For}, \text{# Against})$

Biorąc pod uwagę, że musimy polegać na badaniu opinii publicznej, czy istnieje bardziej sprawiedliwy sposób na ocenę, kto wygra?

bayesian rating

— Wesley Tansey
źródło

Wydaje mi się, że lepszym wyborem byłoby coś w rodzaju „Stosunek za przeciw - po” podzielony przez „Stosunek za przeciw - Przed” (zasadniczo iloraz szans). Jeśli jest wyższy niż 1, poprawiłeś szanse, jeśli jest mniejszy niż 1, nie zrobiłeś tego.

— Glen_b

To też była moja pierwsza myśl, chociaż sformułowałem to jako procentowy wzrost. Po prostu nie jestem pewien, jak udowodnić, że jest to obiektywna ocena.

— Wesley Tansey,

Bezstronna ocena tego, co? Nie jestem pewien, czy bezstronność jest szczególnie pożądaną właściwością w tym zakresie.

— Glen_b

Jak dobrze poradziła sobie każda ze stron. Idealnie byłoby, gdyby nie chcieliśmy odchylać wyniku na podstawie początkowej reakcji tłumu. A może myślę o tym całkowicie źle ...

— Wesley Tansey,

Ach, myślę, że używamy uprzedzeń w nieco inny sposób. To, czy moja sugestia jest stronnicza w tym sensie, zależy od tego , co dokładnie próbujesz zmierzyć. Jednym z popularnych środków doskonale radzi sobie z tym problemem.

— Glen_b

Odpowiedzi:

Twoje obawy są uzasadnione. Niestety istnieje wiele możliwych do obrony, obiektywnych sposobów rozwiązania tego problemu i mogą one powodować konflikty. Poniższa analiza stanowi ramy dla podjęcia decyzji, w jaki sposób możesz chcieć ocenić wynik i pokazuje, jak zależne są twoje wnioski od założeń dotyczących dynamiki sytuacji.

Mamy niewielką lub żadną kontrolę nad początkową grupą odbiorców. Może nie reprezentować większej populacji (np. Wszystkich widzów), którymi jesteśmy bardziej zainteresowani. Dlatego bezwzględna liczba opinii ma niewielkie znaczenie: ważne są tempo, w jakim ludzie mogą zmienić zdanie. (Na podstawie tych wskaźników moglibyśmy oszacować, jak może zmienić się populacja słuchająca, biorąc pod uwagę informacje o ich początkowych opiniach, nawet jeśli proporcje opinii wśród słuchaczy różnią się od ankietowanych w studio).

Wynik składa się zatem z sześciu możliwych zmian opinii i sześciu powiązanych zmian:

Tych „za”, któremu będzie indeksem może zmienić zdanie i kończy się albo przed (z indeksem ) przy szybkości lub niezdecydowanych (z indeksem ) przy szybkości . $1,$ $2$ $a_{12}$ $3$ $a_{13}$
Tych „przeciw” może zmienić zdanie „do” w tempie lub „niezdecydowany” w tempie . $a_{21}$ $a_{23}$
W undecideds może zmienić ich umysły, aby „za” przy szybkości lub „przeciw”, przy szybkości $a_{31}$ $a_{32}.$

Definiowanie , bo jako odsetek osób o indeksie nie zmieniających ich umysły. $a_{ii}$ $i=1,2,3,$ $i$

Kolumny macierzy zawierają liczby nieujemne, które należy dodać do jedności (zakładając, że każdy, kto odpowie na pierwszą ankietę, również odpowie na ostatnią). Pozostawia to sześć niezależnych wartości do ustalenia na podstawie przejścia od początkowego rozkładu w widowni, , do końcowego rozkładu $\mathbb{A}=(a_{ij})$ $x=(0.18, 0.42, 0.40)$ $y=(0.23, 0.49, 0.28) = \mathbb{A}x$ . Jest to niedookreślony układ (ograniczonych) równań liniowych, pozostawiający ogromną elastyczność w uzyskiwaniu rozwiązania. Spójrzmy na trzy rozwiązania.

Rozwiązanie 1: Najmniejsza zmiana

W pewnym sensie możemy poprosić macierz przejściową aby była jak najmniejsza. Jednym ze sposobów jest zminimalizowanie całkowitych proporcji osób, które zmieniają swoje opinie. Dokonano tego w przykładzie z rozwiązaniem $\mathbb{A}$

A = (\begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \end{array}) .

$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$

Oznacza to, że niezdecydowanych skończyło, z nich skończyło się przeciw, a żaden z pierwotnych forów ani przeciw nie zmienił zdania. Kto wygrał? Przeciwnicy, oczywiście, ponieważ debata przekonała większą część niezdecydowanych do zadowolenia się opinią „przeciw”. $12.5\%$ $17.5\%$

Ten model byłby odpowiedni, jeśli uważasz, że początkowe frakcje są zahartowane na ich opinie, a jedynymi osobami, które mogą zmienić zdanie, są osoby pierwotnie zadeklarowane jako niezdecydowane.

Rozwiązanie 2: Najmniejsze kwadraty

Prostym matematycznie rozwiązaniem jest znalezienie macierzy której kwadratowa norma jest tak małe, jak to możliwe: minimalizuje to sumę kwadratów wszystkich dziewięciu prawdopodobieństw przejścia (które obejmują reprezentujące proporcje, które nie zmieniają zdania). Jego rozwiązaniem (w zaokrągleniu do dwóch miejsc po przecinku) jest $\mathbb{A}$ $L^2$ $||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$ $a_{ii}$

A = (\begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$

Porównując wiersze, widzimy, że chociaż strony „przeciw” przekonano do konwersji na „za” (a kolejne było wystarczająco zdezorientowane, aby stać się niezdecydowanym), w pełni strony „za” zostało przekonwertowane (i kolejne było zdezorientowanych). Pierwotni niezdecydowani przeszli na stronę „przeciw” ( porównaniu z ). Teraz „przeciw” jest wyraźnym zwycięzcą. $22\%$ $27\%$ $41\%$ $31\%$ $50\%$ $22\%$

Rozwiązanie najmniejszych kwadratów zazwyczaj powoduje wiele zmian w każdej grupie. (Z zastrzeżeniem ograniczeń wynikających z problemu, stara się uczynić zmienia wszystko równa ). Czy to odpowiada realistycznego portretu populacji jest trudny do określenia, ale nie wykazują matematycznie możliwych obraz tego, co się stało podczas debaty. $1/3$

Rozwiązanie 3: Karane najmniejsze kwadraty

Aby kontrolować i ograniczyć tempo, w jakim ludzie zmieniają swoje opinie, ukarajmy cel najmniejszych kwadratów, włączając terminy sprzyjające bez zmiany opinii. Są to warunki na przekątnej . Można przypuszczać, że trudniej jest zmienić zdanie kogoś, kto nie jest niezdecydowany, więc dobrze byłoby zrzucić to drugie. W tym celu wprowadź dodatnie wagi znajdź dla którego jest zminimalizowane. $\mathbb{A}$ $\omega_i$ $\mathbb{A}$

| | A | |_{2}^{2} - ω_{1} a_{11} - ω_{2} a_{22} - ω_{3} a_{33}

$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$

$\omega = (1,1,1/2)$

A = (\begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$

$40\%$ $17\%$ $23\%$

Podsumowanie

W tym przejściowym modelu zmiany opinii większość metod rozwiązania wskazuje na wygraną strony „przeciw” w tym konkretnym przykładzie. Brak silnych opinii na temat dynamiki zmian sugerujących wygraną strony przeciwnej.

$(.20,.60,.20)$ $(.30,.40,.30)$ $20\%$ $30\%$ $40\%$ $30\%$ . Jednak (zaokrąglone) rozwiązanie najmniejszych kwadratów przynajmniej sugeruje, że może się to zdarzyć, w którym debata nieco faworyzuje drugą stronę! To jest

A = (\begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$

$36\%$ $29\%$ $(36\%)$ $32\%$

dodatkowe komentarze

$\mathbb{A}$

— Whuber
źródło

Dzięki za szczegółowy post! Obawiam się jednak, że wszystkie te metody nie uwzględniają możliwości, że niezdecydowani nie są tak naprawdę niezdecydowani.

— Wesley Tansey,

Mają elastyczność, aby uwzględnić Twoje obawy dotyczące tej możliwości. Nadal tkwisz w potrzebie poczynienia (silnych) założeń: jeśli uważasz, że nie są one naprawdę zdecydowane, będziesz musiał oszacować, która proporcja jest „za”, a która „przeciw” (i szaleństwem byłoby założyć proporcje są takie same jak liczba dla: liczba przeciw!) Jednym ze sposobów na uniknięcie takiej oceny - choćby po to, aby zobaczyć, jak może wyglądać wynik - jest wybranie rozwiązania, które nagradza zmianę opinii przez niezdecydowaną osobę.

— whuber

Zakładając, że obie strony są jednakowo polaryzujące, czyż ocena MAP osób niezdecydowanych nie byłaby korzystna dla stosunku do stosunku?

— Wesley Tansey,

W większości przypadków takie założenie byłoby trudne. Na przykład osoby mniej poinformowane mogą mieć większą skłonność do niezdecydowania - a także mogą mieć większą skłonność do faworyzowania jednej z dwóch pozycji. Efekt założenia „jednakowo polaryzującego” może być tak silny (szczególnie, gdy istnieje duży odsetek niezdecydowanych), że dalsza analiza nie jest istotna: wyniki byłyby przede wszystkim konsekwencją tego założenia. Produktywną myślą może być rozważenie zebrania dodatkowych informacji o niezdecydowanych ludziach.

— whuber

p ({for}_{after}, {against}_{after}, {undecided}_{after} ∣ {for}_{before}, {against}_{before}, {undecided}_{before})

$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$

0.5

$0.5$ dla obu drużyn. Zauważ, że wciąż istnieje wiele możliwości wyboru reguły decyzyjnej, ponieważ przestrzeń wyników jest dwuwymiarowa, ale jeśli ufamy modelowi predykcyjnemu, nie ma to znaczenia dla uczciwości konkursu. Można np. Po prostu zdecydować, że zespół wygrywa, jeśli wskaźnik „za przeciw” po debacie przekroczy medianę predykcyjną (zależnie od ankiety przed głosowaniem).

Pomysły na zbudowanie modelu predykcyjnego

\begin{aligned} (P (for ∣ for before), P (ud ∣ for before), P (ag ∣ for before)) & \sim D i r (a_{f f}, a_{u f}, a_{a f}) \\ (P (for ∣ ud before), P (ud ∣ ud before), P (ag ∣ ud before)) & \sim D i r (a_{f u}, a_{u u}, a_{a u}) \\ (P (for ∣ ag before), P (ud ∣ ag before), P (ag ∣ ag before)) & \sim D i r (a_{f a}, a_{u a}, a_{a a}), \end{aligned}

$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$

P

$P$

a

$a$

a

$a$

a

$a$

a_{f f} = a_{a a}

$a_{ff}=a_{aa}$

a_{f u} = a_{a u}

$a_{fu}=a_{au}$

$a$

— Juho Kokkala
źródło

Czy możesz rozwinąć pomysł modelu predykcyjnego na przykładzie?

— Wesley Tansey,

@WesleyTansey Zdałem sobie sprawę, że można użyć pomysłu Whubera rozważenia prawdopodobieństw przejścia w celu zbudowania modelu predykcyjnego na potrzeby mojej odpowiedzi. Zredagowałem swoją odpowiedź, aby zawierała kilka wstępnych pomysłów, ale nie próbowałem tego wdrożyć, ani nie planuję obecnie.

— Juho Kokkala,