Kiedy traktujemy względną, znormalizowaną funkcję użyteczności jako pmf, jaka jest interpretacja entropii Shannona lub informacji Shannona?

10

Załóżmy, że $\Omega$ jest zbiorem wzajemnie wykluczających się wyników dyskretnej zmiennej losowej, a $f$ to funkcja użyteczności, w której $0 < f(\omega) \leq 1$ , $\sum_\Omega f(\omega) = 1$ itd.

Gdy $f$ jest równomiernie rozłożone $\Omega$ i $f$ jest funkcją masy prawdopodobieństwa , Shannon entropii $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ jest zmaksymalizowane ( $=log|\Omega|)$ , a gdy jeden element w $\Omega$ ma całąmasę $f$ , entropia Shannona jest zminimalizowana (w rzeczywistości $0$ ). Odpowiada to intuicji na tematsurprisalu(lubzmniejszenia niepewności) oraz wyników iniepewności(lubspodziewanego surprisalu) i zmiennych losowych:

Kiedy $f$ jest równomiernie rozmieszczone, niepewność jest zmaksymalizowana, a im więcej wyników dla równomiernego rozkładu masy, tym bardziej jesteśmy niepewni.
Kiedy $f$ skupia całą swoją masę w jednym wyniku, nie mamy niepewności.
Kiedy przypisujemy wynikowi prawdopodobieństwo $1$ , nie otrzymujemy żadnych informacji („jesteśmy zaskoczeni”), kiedy faktycznie je obserwujemy.
Kiedy przypisujemy wynikowi prawdopodobieństwo coraz bliższe $0$ , obserwacja jego faktycznego występowania staje się coraz bardziej pouczająca („zaskakująca”).

(To wszystko nie mówi nic o znacznie bardziej konkretnej - ale mniej epistemicznej - kodującej interpretacji informacji / entropii Shannona.)

Jednakże, gdy $f$ ma interpretację funkcji użytkowych , istnieje sensical interpretacja lub $log\frac{1}{f(\omega)}$ ? Wydaje mi się, że mogą istnieć: $\sum f(\omega)log\frac{1}{f(\omega)}$

jeśli jako PMF reprezentuje równomierny rozkład na , to jako funkcja użyteczności odpowiada obojętności na wyniki, która nie może być większa * $f$ $\Omega$ $f$
funkcja użyteczności, w której jeden wynik ma całą użyteczność, a reszta nie ma żadnej (tak wypaczonej użyteczności, jak to możliwe), odpowiada bardzo silnym preferencjom względnym - brakowi obojętności.

Czy rozwija się odniesienie do tego? Czy coś przeoczyłem na temat ograniczeń porównywania funkcji masy prawdopodobieństwa i znormalizowanych narzędzi względnych względem dyskretnych zmiennych losowych?

* Zdaję sobie sprawę z krzywych obojętności i nie widzę, w jaki sposób mogą one być odpowiednie dla mojego pytania z różnych powodów, poczynając od skupienia się na kategorycznej przestrzeni próbki i na tym, że nie jestem zainteresowany „obojętnością” per se, ale raczej jak interpretować narzędzia jako prawdopodobieństwa i jak interpretować funkcjonały na prawdopodobieństwach, gdy (dyskretny) „rozkład prawdopodobieństwa”, o którym mowa, faktycznie lub (dodatkowo) ma interpretację funkcji użyteczności.

— EM23
źródło

Nie mam odpowiedzi, ale twoje pytanie sprawia, że myślę o użyciu entropii w problemie uczciwego cięcia ciasta: en.wikipedia.org/wiki/Fair_cake-cutting Standardowy model polega na tym, że ciasto jest przedziałem [0, 1], i istnieje

agentów o różnych znormalizowanych miarach wartości w tym przedziale. Przyjmuje się, że miary są nieatomowe, ale nie ma dalszych założeń dotyczących ich „entropii”. Zastanawiające może być to, co możemy powiedzieć o problemach z wycinaniem ciast, w których funkcje użyteczności ograniczyły entropię.

n

$n$

— Erel Segal-Halevi

3

Przed dyskusją Entropia Shannona należy omówić jeszcze jedną kwestię: wydaje się, że masz na myśli raczej kardynalną użyteczność niż porządek .

W obu przypadkach można oczywiście wyprowadzić „znormalizowane” funkcje narzędziowe. Ale pojęcie „względnej preferencji” można zdefiniować i zmierzyć tylko w kontekście kardynalnej użyteczności.

Problem nie pojawia się w dwóch skrajnościach, które opisujesz, ale we wszystkich możliwych przypadkach pośrednich.

Prosty przykład: załóżmy, że istnieją trzy „wyniki”, (powiedzmy, poziomy konsumpcji lub trzy różne towary w określonej ilości). Twoja funkcja narzędziowa przypisała im wartości $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

W zwykłej użyteczności to nam tylko to mówi

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

Z pewnością możemy je znormalizować dzieląc przez aby uzyskać $100$

a ranking trzech wyników zostaje zachowany

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

Ale pod zwykłą użytecznością moglibyśmy równie dobrze użyć innej funkcji użytecznej, która by to przypisała

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

i uzyskaj

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

$V$ $W$

$W$ $V$

Czy znasz problemy związane z użytecznością kardynalną?

— Alecos Papadopoulos
źródło

V

$V$

U

$U$

3

Po wymianie z OP w mojej drugiej odpowiedzi, popracujmy trochę z jego podejściem.

$X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

$X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

i powiedziano nam to

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

$w(x_i)$ $w(x_i)$

$w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

$p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

i uzyskaliśmy ogólny wynik:

$X$

$w(X)$ $E[w(X)]=1/k$

$w(X)$

Mam jednak wrażenie, że OP nie ma na myśli tego. Przeciwnie, traktuje Entropię Shannona jako metrykę, która ma pewne pożądane właściwości algebraiczne i być może może zmierzyć zwięźle w znaczący sposób coś interesującego.

Dokonano tego wcześniej w dziedzinie ekonomii, szczególnie w organizacji przemysłowej, gdzie zbudowano wskaźniki koncentracji rynku („stopień konkurencji / monopolistyczna struktura rynku”). Zwracam uwagę na dwa, które wydają się tutaj szczególnie istotne.

$n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

$w(X)$

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D., i Jacquemin, A. (1980). Stopień monopolu, wskaźniki koncentracji i zagrożenie wejścia. Międzynarodowy przegląd ekonomiczny, 87–105. , zapewniają aksjomatyczne wyprowadzenie „dopuszczalnych” wskaźników stężenia, tj. określają właściwości, które taki wskaźnik musi posiadać. Ponieważ ich podejście jest abstrakcyjne, uważam, że przydatne może być to, do czego PO chce zbadać i nadać znaczenie.

— Alecos Papadopoulos
źródło

1

$v=v*2-0.5$

W związku z tym należy najpierw podać znaczącą skalę stosunku do użyteczności. Jednym ze sposobów na to jest interpretacja naturalnego poziomu użyteczności 0. Bez tej specyfikacji entropia nie ma znaczenia.

— HRSE
źródło