Jak wykrywać spolaryzowane opinie użytkowników (wysokie i niskie oceny w gwiazdkach)

15

Jeśli mam system oceny gwiazdek, w którym użytkownicy mogą wyrazić swoje preferencje dotyczące produktu lub przedmiotu, w jaki sposób mogę wykryć statystycznie, czy głosy są wysoce „podzielone”. Oznacza to, że nawet jeśli średnia wynosi 3 z 5 dla danego produktu, jak mogę wykryć, czy jest to podział 1-5 względem konsensusu 3, używając tylko danych (bez metod graficznych)

variance average dispersion

— David Williams
źródło

3

Co jest złego w stosowaniu odchylenia standardowego?

— Spork

1

Brak odpowiedzi, ale istotne: evanmiller.org/how-not-to-sort-by-average-rating.html

— Fractional

1

Czy próbujesz wykryć „rozkład bimodalny”? Zobacz stats.stackexchange.com/q/5960/29552

— Ben Voigt

1

W politologii istnieje literatura na temat pomiaru polaryzacji politycznej, która badała różne sposoby definiowania, co należy rozumieć przez „polaryzację”. Jeden miły artykuł, który szczegółowo omawia 4 różne proste sposoby definiowania polaryzacji, jest następujący (patrz str. 692-699): educ.jmu.edu/~brysonbp/pubs/PBJ.pdf

— Jake Westfall

12

Można skonstruować wskaźnik polaryzacji; to, jak dokładnie to zdefiniujemy, zależy od tego, co oznacza bycie bardziej spolaryzowanym (tj. co dokładnie masz na myśli, w szczególnych przypadkach brzegowych, przez mniej lub bardziej spolaryzowaną?):

Na przykład, jeśli średnia to „4”, czy podział 50–50 między „3” i „5” jest większy, czy mniej spolaryzowany niż 25% „1” i 75% „5”?

W każdym razie, przy braku takiej konkretnej definicji tego, co masz na myśli, zasugeruję miarę opartą na wariancji:

Biorąc pod uwagę konkretną średnią, zdefiniuj najbardziej spolaryzowany możliwy podział jako ten, który maksymalizuje wariancję *.

* (Uwaga: powiedziałoby to, że 25% „1” i 75% „5” jest znacznie bardziej spolaryzowane niż 50-50 podział „3” i „5”; jeśli to nie pasuje do twojej intuicji, nie używaj wariancji)

Zatem ten wskaźnik polaryzacji jest proporcją największej możliwej wariancji ( z obserwowaną średnią ) w obserwowanej wariancji.

Nazwij średnią ocenę ( ). $m$ $m=\bar x$

Maksymalna wariancja występuje, gdy proporcja oznaczaawynosi; ma to wariancję $p=\frac{m-1}{4}$ $5$ $1-p$ $1$ . $(m-1)(5-m) \cdot \frac{n}{n-1}$

Wystarczy więc pobrać wariancję próbki i podzielić przez ; daje to liczbę od(idealna zgodność) do(całkowicie spolaryzowane). $(m-1)(5-m) \cdot \frac{n}{n-1}$ $0$ $1$

W wielu przypadkach, w których średnia ocena wynosi 4, dałoby to:

wprowadź opis zdjęcia tutaj

Zamiast tego możesz raczej nie obliczać ich w odniesieniu do największej możliwej wariancji z tą samą średnią, ale zamiast tego jako procent największej możliwej wariancji dla dowolnej średniej oceny . Oznaczałoby to podzielenie zamiast $4 \cdot \frac{n}{n-1}$ $1$

Każda z tych dwóch opcji jest całkowicie poprawnym wyborem - podobnie jak każda inna liczba alternatywnych sposobów konstruowania takiego indeksu.

— Glen_b - Przywróć Monikę
źródło

Ale kiedy m = 1dostaniesz 1 - 1 = 0i 0 / 0. Jak to naprawisz?

— Francesco

m = 1

$m=1$

m = 5

$m=5$

8

„Brak metod graficznych” jest rodzajem dużego upośledzenia, ale ... oto kilka dziwnych pomysłów. Obie traktują oceny jako ciągłe, co jest słabością konceptualną i prawdopodobnie nie jedyną ...

Kurtosis

Kurtoza {1,1,1,5,5,5} = 1. Nie dostaniesz niższej kurtozy przy żadnej kombinacji ocen 1–5.
Kurtoza {1,2,3,4,5} = 1,7. Niższy oznacza więcej wartości ekstremalnych; wyżej oznacza więcej środka.
To nie zadziała, jeśli rozkład nie będzie w przybliżeniu symetryczny. Pokażę poniżej.

Ujemna regresja dwumianowa

\begin{array}{cc} R a t i n g & F r e q u e n c y \\ 1 & 31 \\ 2 & 15 \\ 3 & 7 \\ 4 & 9 \\ 5 & 37 \end{array}

$\begin{array}{c|c}\rm Rating&\rm Frequency\\\hline1&31\\2&15\\3&7\\4&9\\5&37\end{array}$

F r e q u e n c y \sim R a t i n g + \sqrt{R a t i n g}

$\rm Frequency\sim\rm Rating+\sqrt{Rating}$

\sqrt{R a t i n g}

$\rm\sqrt{Rating}$

FWIW, oto kod r , z którym bawiłem się:

x=rbinom(99,4,c(.1,.9))+1;y=sample(0:4,99,replace=T)+1 #Some polarized & uniform rating data
table(x);table(y)                                                         #Frequencies
require(moments);kurtosis(x);kurtosis(y)                                  #Kurtosis

Y=data.frame(n=as.numeric(table(y)),rating=as.numeric(levels(factor(y)))) #Data frame setup
X=data.frame(n=as.numeric(table(x)),rating=as.numeric(levels(factor(x)))) #Data frame setup
require(MASS);summary(glm.nb(n~rating+sqrt(rating),X))  #Negative binomial of polarized data
summary(glm.nb(n~rating+sqrt(rating),Y))                #Negative binomial of uniform data

Nie mogę się oprzeć rzuceniu spisku ...

require(ggplot2);ggplot(X,aes(x=rating,y=n))+geom_point()+stat_smooth(formula=y~x+I(sqrt(x)),method='glm',family='poisson')

$\rm\sqrt{Rating}$

Edycja: Właśnie zobaczyłem to pytanie reklamowane na pasku bocznym: a kiedy kliknąłem, zobaczyłem je w „Hot Network Questions” odsyłającym do siebie, jak to czasami bywa ,

więc pomyślałem, że może to zasługiwać na wizytę w bardziej ogólnie przydatny sposób. Postanowiłem wypróbować moje metody w recenzjach klientów Amazon dotyczących koszulki z krótkim rękawem The Mountain Three Wolf Moon :

\begin{array}{cccccc} R a t i n g & 1 & 2 & 3 & 4 & 5 \\ F r e q u e n c y & 208 & 54 & 89 & 198 & 2273 \end{array}

$\begin{array}{c|ccccc}\rm Rating&1&2&3&4&5\\\hline\rm Frequency&208&54&89&198&2273\end{array}$

β_{\sqrt{R a t i n g}} = - 19.1

$\beta_\sqrt{\rm Rating}=-19.1$

$\rm \sigma^2_{Frequency_\text{The Mountain Three Wolf Moon Short Sleeve Tee Ratings}}=1.31$
x=rep(5:1,c(2273,198,89,54,208))var(x)/(4*length(x)/(length(x)-1))

— Nick Stauner
źródło

Jest to około 0,77 dla pierwszej wersji wskaźnika polaryzacji (tj. W stosunku do najbardziej spolaryzowanej przy średniej ocenie), ale tak, jak mówisz, 0,33 dla drugiej wersji (względem najbardziej możliwego rozkładu spolaryzowanego).

— Glen_b

@Glen_b: A czy pierwsza wersja nie jest mniej odpowiednia, gdy średnia nie jest ustalona dla różnych zestawów ocen, które wymagają porównania? A może źle zrozumiałem twoją odpowiedź?

— Nick Stauner

To zależy od celu. Sądząc po tytule „jak wykrywać spolaryzowane opinie”, pochylam się w kierunku pierwszego ( biorąc pod uwagę średnią ocenę, jak spolaryzowane są opinie na ten temat? ). Jeśli rzeczywiście celem było porównanie różnych zestawów ocen, bardziej sensowne może być zastosowanie drugiego podejścia, jak sugerujesz. To dlatego zrobiłem oba. Mój komentarz nie miał być w żadnym sensie krytyką; Cieszę się, że w ogóle o tym wspomniałeś.

— Glen_b

@Glen_b: Zrozumiałem :) TBH, sugeruję, że podejście do modelowania regresji dwumianowej jest lepsze, ale przyznaję, że prawie go dokładnie nie przetestowałem. Mam wrażenie, że większość spolaryzowanych zestawów ocen nie będzie równomiernie spolaryzowana, więc uważam, że odporność na asymetrię będzie ważna dla przyszłych czytelników.

— Nick Stauner

5

\frac{(1 - 3)^{2} + (3 - 3)^{2} + (3 - 3)^{2} + (5 - 3)^{2}}{4} = 1

$\frac {(1-3)^2 + (3-3)^2 + (3-3)^2 + (5-3)^2}4 = 1$

\frac{(1 - 3)^{2} + (1 - 3)^{2} + (5 - 3)^{2} + (5 - 3)^{2}}{4} = 2

$\frac {(1-3)^2 + (1-3)^2 + (5-3)^2 + (5-3)^2}4 = 2$

— Duncan
źródło

2

Wątpię, czy mogę dodać coś cennego do podanych wcześniej sprytnych odpowiedzi. W szczególności dobry pomysł @ Glen_b, aby ocenić, w jaki sposób zaobserwowana wariancja jest względnie zbliżona do maksymalnej możliwej wariancji przy obserwowanej średniej. Moja własna, tępa i prosta propozycja ramienia, dotyczy natomiast pewnej solidnej miary dyspersji opartej nie na odchyleniach od jakiegoś środka, ale bezpośrednio na odległościach między punktami danych.

$d_{ii}$

Rating scale                   Distances      Mean     Median    Hodges-Lehmann
1  2  3  4  5

Frequency distributions:

1     2     1                 0 2 2 2 2 4      2          2          2

2           2                 0 0 4 4 4 4      2.7        4          2

1        2  1                 0 1 1 3 3 4      2          2          2

1  1  1     1                 1 1 2 2 3 4      2.2        2          2

1  1     1  1                 1 1 2 3 3 4      2.3        2.5        2.5

1           3                 0 0 0 4 4 4      2          2          2

$N$

— ttnphns
źródło

Średnia kwadratowych odległości w parach jest związana z wariancją.

— Glen_b

0

Co powiesz, jeśli ocena 3 gwiazdki jest mniejsza niż średnia z 5 i 4, a także mniejsza niż średnia z 1 i 2:

if (number_of_ratings > 6)      // kind of meaningless unless there's enough ratings
{
    if ( ((rating(5)+rating(4))*0.5 > rating(3)) &&
         ((rating(1)+rating(2))*0.5 > rating(3))
       )    
    {
        // Opinion divided
    }
    else
    {
        // Opinion not divided
    }
}
else
{
    // Hard to tell yet if opinion is divided
}

Z czubka mojej głowy nie mogę wymyślić żadnej sytuacji, w której to nie zadziałałoby. Korzystając z powyższego przykładu: opinie klientów Amazon dotyczące koszulki z krótkim rękawem The Mountain Three Wolf Moon :

\begin{array}{cccccc} R za t ja n sol & 1 & 2) & 3) & 4 & 5 \\ fa r mi q u mi n do y & 208 & 54 & 89 & 198 & 2273 \end{array}

$\begin{array}{c|ccccc}\rm Rating&1&2&3&4&5\\\hline\rm Frequency&208&54&89&198&2273\end{array}$

W tym przypadku:

\begin{array}{cccccc} R za t ja n sol & za v mi r za sol mi (1, 2)) & 3) & za v mi r za sol mi (4, 5) \\ fa r mi q u mi n do y & 131 & 89 & 1235 \end{array}

$\begin{array}{c|ccccc}\rm Rating&average(1,2)&3&average(4,5)\\\hline\rm Frequency&131&89&1235\end{array}$

To przejdzie test i zostanie uznane za podzieloną opinię.

— Rocketmagnet
źródło

1

co gdyby było dużo 2 i 4 i stosunkowo mało innych ocen? Trudno sobie wyobrazić, że dzieje się tak w rzeczywistości, ale czy naprawdę można nazwać to spolaryzowanym?

— Nick Stauner

Pomyśl o tym, łatwiej byłoby znaleźć przypadki z dużą liczbą 1 i 5, bardzo małą liczbą 2 i 4 oraz umiarkowaną liczbą 3. Na przykład,

\begin{array}{cccccc} R za t ja n sol & 1 & 2) & 3) & 4 & 5 \\ fa r mi q u mi n do y & 25 & 5 & 15 & 5 & 25 \end{array}

$\begin{array}{c|ccccc}\rm Rating&1&2&3&4&5\\\hline\rm Frequency&25&5&15&5&25\end{array}$ To dość spolaryzowane, nie? Jednak twoja metoda przyniosłaby taki sam wynik jak dla jednolitego rozkładu 15 dla każdej oceny.

— Nick Stauner

0

Myślę, że to, czego szukasz, to odchylenie standardowe:

σ = \sqrt{\frac{\sum_{ja = 0}^{n} (x_{ja} - μ)^{2)}}{n}} gdzie σ jest odchyleniem standardowym, n to liczba punktów danych, x reprezentuje wszystkie punkty danych, oraz μ to znaczy

$\sigma = \sqrt{\frac{\sum_{i=0}^{n}(x_i-\mu )^2}{n}}\\\text{where }\sigma \text{ is standard deviation, } \\ n \text{ is the number of data points,}\\ x \text{ represents all of the data points, and}\\\mu\text{ is the mean.}$

Nie wiem, jaki to język programowania, ale oto metoda Java, która da standardowe odchylenie:

public static double standardDeviation(double[] data) {
            //find the mean
    double sum = 0;
    for(double x:data) {
        sum+=x;
    }
    double mean = sum/data.length;

            //find standard deviation
    Double sd;
    sd=0.0;
    for(double x:data) {
        sd+=Math.pow((x-mean),2);
    }
    sd=sd/data.length;
    sd=Math.sqrt(sd);

    return sd;
}

— anonimowy
źródło