Dlaczego wynik beta określa tak beta?

10

To jest wynik F beta:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

Artykuł w Wikipedii stwierdza, że . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Nie wpadłem na pomysł. Po co definiować ten sposób? Czy mogę zdefiniować ten sposób: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

I jak pokazać β times as much importance?

machine-learning precision-recall model-evaluation

— uporządkowane
źródło

2

Sprawdź nową odpowiedź poniżej, która zawiera rachunek różniczkowy, który odnosi się do „dlaczego Beta jest kwadratem, a nie Beta”.

— javadba,

19

Niech będzie wagą w pierwszej podanej przez ciebie definicji, a wagą w drugiej, dwie definicje są równoważne, gdy ustawisz , więc te dwie definicje reprezentują jedynie różnice notacyjne w definicja wyniku . Widziałem, jak zdefiniowano zarówno pierwszy sposób (np. Na stronie wikipedia ), jak i drugi (np. Tutaj ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

środka uzyskuje się biorąc średnią harmoniczną precyzji i wycofywania, czyli odwrotność średnią odwrotności precyzji i odwrotność przywołania: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Zamiast używać wag w mianowniku, które są równe i sumują się do 1 ( dla przywołania i dla precyzji), zamiast tego możemy przypisać wagi, które wciąż sumują się do 1, ale dla którego waga przy odwołaniu jest razy większa niż waga przy precyzji ( przypadku wycofania i przypadku precyzji). To daje twoją drugą definicję wyniku : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Ponownie, gdybyśmy użyli zamiast tutaj, doszlibyśmy do twojej pierwszej definicji, więc różnice między dwiema definicjami są po prostu notacyjne. $\beta^2$ $\beta$

— josliber
źródło

1

dlaczego pomnożyli z terminem dokładności zamiast terminu wycofania?

β

$\beta$

— Anwarvic

1

Rachunek różniczkowy, który odnosi się do „dlaczego Beta do kwadratu, a nie Beta” znajduje się w nowszej odpowiedzi poniżej.

— javadba,

@Anwarvic Pomnożyli z odwrotnym przywołaniem. Po uwzględnieniu out i rozszerzenie z jest termin lewo

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

6

Powodem zdefiniowania wyniku F-beta za pomocą jest właśnie podany przez Ciebie cytat (tzn. Chcesz dołączyć tyle razy, ile trzeba zapamiętać, co precyzja), biorąc pod uwagę konkretną definicję tego, co to znaczy dołączyć razy ważniejsze jest przywołanie niż precyzja. $\beta^{2}$ $\beta$ $\beta$

Konkretny sposób zdefiniowania względnego znaczenia dwóch wskaźników, które prowadzą do sformułowania można znaleźć w Information Retrieval (Van Rijsbergen, 1979): $\beta^{2}$

Definicja: Względne znaczenie, jakie użytkownik przypisuje precyzji i przywołaniu, to stosunek przy którym , gdzie jest miarą skuteczności opartą na precyzji i przywołaniu. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Motywacją do tego jest:

Najprostszym znanym mi sposobem kwantyfikacji jest określenie stosunku przy którym użytkownik jest skłonny wymienić dokładność przyrostu w celu uzyskania równej straty przy wycofywaniu. $P/R$

Można zobaczyć, że to prowadzi do sformułowanie można rozpocząć od ogólnego wzoru na ważonej średniej harmonicznej i i obliczenie ich pochodnych cząstkowych w odniesieniu do i . Źródło cytowane niej korzysta (dla „miary skuteczności”), który jest tylko i wyjaśnienie jest odpowiednikiem tego, czy uważamy, lub . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Teraz ustawienie pochodne równe sobie miejsca ograniczenie relacji między , a stosunek . Biorąc pod uwagę, że chcemy przywrócić razy większą wagę do zapamiętania niż precyzja, rozważymy stosunek¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Zdefiniowanie jako tego stosunku i przestawienie dla daje wagi w kategoriach : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Otrzymujemy:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Które można zmienić, aby uzyskać formularz w pytaniu.

Zatem, biorąc pod uwagę cytowaną definicję, jeśli chcesz przywiązywać razy większą wagę do przywołania niż precyzja, należy użyć sformułowania . Ta interpretacja nie obowiązuje, jeśli używa się . Analogiczna, mniej intuicyjna interpretacja w przypadku, gdy po prostu używamy polegałaby na tym, że chcemy przywiązywać razy większą wagę do przywołania niż precyzja. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Możesz zdefiniować wynik, jak sugerujesz, jednak powinieneś być świadomy, że w tym przypadku omawiana interpretacja nie ma już miejsca lub sugerujesz inną definicję do kwantyfikacji kompromisu między precyzją a wycofaniem.

Przypisy:

$P/R$ jest wykorzystywany w wyszukiwaniu informacji, ale wydaje się, że jest to literówka, patrz The Truth of F-Measure (Saski, 2007).

Bibliografia:

— Osoba
źródło

1

To powinna być zaakceptowana odpowiedź.

— javadba,

3

Aby szybko coś wskazać.

Oznacza to, że wraz ze wzrostem wartości beta bardziej doceniasz precyzję.

Właściwie uważam, że jest odwrotnie - ponieważ wyższy jest lepszy w punktacji F-β, chcesz, aby mianownik był mały. Dlatego jeśli zmniejszysz β, wówczas model będzie mniej karany za dobrą ocenę dokładności. Jeśli zwiększysz β, wynik F-β jest karany bardziej, gdy precyzja jest wysoka.

Jeśli chcesz zważyć ocenę F-β w taki sposób, aby oceniała precyzję, β powinna wynosić 0 <β <1, gdzie β-> 0 tylko precyzję (licznik staje się bardzo mały, a jedyną rzeczą w mianowniku jest przywołanie, więc wynik F-β zmniejsza się wraz ze wzrostem przywołania).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
źródło

0

Powodem mnożenia β ^ 2 z precyzją jest właśnie sposób definiowania F-Scores. Oznacza to, że wraz ze wzrostem wartości beta bardziej doceniasz precyzję. Jeśli chciałbyś pomnożyć to przez przywołanie, które również działałoby, oznaczałoby to po prostu, że wraz ze wzrostem wartości beta zwiększasz wartość przywołania.

— Mahmoud
źródło

0

Wartość beta większa niż 1 oznacza, że chcemy, aby nasz model zwracał większą uwagę na Przywracanie modelu w porównaniu do Precyzji. Z drugiej strony wartość mniejsza niż 1 kładzie większy nacisk na precyzję.

— Mohit Sharma
źródło