Jedno proste podejście byłoby następujące.
W przypadku dwóch pytań preferencyjnych weź absolutną różnicę między odpowiedziami dwóch respondentów, podając dwie zmienne, powiedzmy z1 i z2, zamiast czterech.
W przypadku ważnych pytań mogę utworzyć wynik, który łączy dwie odpowiedzi. Gdyby odpowiedzi brzmiały, powiedzmy, (1,1), dałbym 1, a (1,2) lub (2,1) dostaje 2, a (1,3) lub (3,1) dostaje 3, a (2,3) lub (3,2) dostaje 4, a (3,3) dostaje 5. Nazwijmy to „wynikiem ważności”. Alternatywą byłoby użycie max (odpowiedź), dając 3 kategorie zamiast 5, ale myślę, że wersja 5 kategorii jest lepsza.
Utworzyłbym teraz dziesięć zmiennych, x1 - x10 (dla konkretności), wszystkie z domyślnymi wartościami zero. Dla tych obserwacji z wynikiem ważności dla pierwszego pytania = 1, x1 = z1. Jeśli wynik ważności dla drugiego pytania również = 1, x2 = z2. W przypadku obserwacji z wynikiem ważności dla pierwszego pytania = 2, x3 = z1 i jeśli wynik ważności dla drugiego pytania = 2, x4 = z2 i tak dalej. Dla każdej obserwacji dokładnie jeden z x1, x3, x5, x7, x9! = 0, i podobnie dla x2, x4, x6, x8, x10.
Po wykonaniu tego wszystkiego przeprowadziłbym regresję logistyczną z wynikiem binarnym jako zmienną docelową i x1 - x10 jako regresorami.
Bardziej wyrafinowane wersje tego mogą wygenerować więcej ocen ważności, pozwalając, aby znaczenie respondenta płci męskiej i żeńskiej było traktowane w różny sposób, np. A (1,2)! = A (2,1), gdzie uszeregowaliśmy odpowiedzi według płci.
Jednym z braków tego modelu jest to, że możesz mieć wiele obserwacji tej samej osoby, co oznaczałoby, że „błędy”, luźniej mówiąc, nie są niezależne między obserwacjami. Jednak przy dużej liczbie osób w próbce prawdopodobnie po prostu zignoruję to, dla pierwszego przejścia, lub zbuduję próbkę, w której nie było duplikatów.
Kolejnym brakiem jest to, że prawdopodobne jest, że wraz ze wzrostem znaczenia wzrośnie również wpływ danej różnicy między preferencjami na p (fail), co implikuje związek między współczynnikami (x1, x3, x5, x7, x9), a także między współczynnikami (x2, x4, x6, x8, x10). (Prawdopodobnie nie jest to kompletne uporządkowanie, ponieważ z góry nie jest dla mnie jasne, w jaki sposób wynik ważności (2,2) odnosi się do wyniku ważności (1,3).) Jednak nie narzuciliśmy tego w modelu. Prawdopodobnie z początku to zignoruję i zobaczę, czy zaskoczy mnie wynik.
Zaletą tego podejścia jest to, że nie narzuca założenia o funkcjonalnej formie związku między „ważnością” a różnicą między reakcjami preferencyjnymi. Jest to sprzeczne z poprzednim komentarzem dotyczącym niedoboru, ale myślę, że brak narzucenia funkcjonalnej formy jest prawdopodobnie bardziej korzystny niż związany z tym brak uwzględnienia oczekiwanych zależności między współczynnikami.