Jaka jest różnica między funkcją straty a funkcją decyzji?

Widzę, że obie funkcje są częścią metod eksploracji danych, takich jak regresory zwiększające gradient . Widzę, że to także osobne obiekty.

Jaka jest relacja między nimi w ogóle?

Funkcja decyzyjna to funkcja, która pobiera zestaw danych jako dane wejściowe i podaje decyzję jako dane wyjściowe. Decyzja może zależeć od rodzaju problemu. Przykłady obejmują:

• Problemy z oszacowaniem: „decyzja” jest oszacowaniem.
• Problemy z testowaniem hipotez: decyzja polega na odrzuceniu lub odrzuceniu hipotezy zerowej.
• Problemy z klasyfikacją: decyzja polega na zaklasyfikowaniu nowej obserwacji (lub obserwacji) do kategorii.
• Problemy z wyborem modelu: decyzja dotyczy wyboru jednego z modeli kandydujących.

Zazwyczaj istnieje nieskończona liczba funkcji decyzyjnych dostępnych dla problemu. Jeśli na przykład jesteśmy zainteresowani oszacowaniem wzrostu szwedzkich mężczyzn na podstawie dziesięciu obserwacji , możemy użyć dowolnej z następujących funkcji decyzyjnych d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• Średnia próbki: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• Mediana próby: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• Średnia geometryczna próbki: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• Funkcja, która zawsze zwraca 1: , niezależnie od wartości x . Głupie, tak, ale mimo to jest to ważna funkcja decyzyjna.$d(\mathbf{x})=1$$\mathbf{x}$

Jak zatem ustalić, z których z tych funkcji decyzyjnych skorzystać? Jednym ze sposobów jest użycie funkcji straty , która opisuje stratę (lub koszt) związaną ze wszystkimi możliwymi decyzjami. Różne funkcje decyzyjne będą prowadzić do różnych rodzajów błędów. Funkcja utraty mówi nam, jakiego rodzaju błędów powinniśmy się bardziej przejmować. Najlepszą funkcją decyzyjną jest funkcja, która przynosi najniższą oczekiwaną stratę . To, co należy rozumieć przez oczekiwaną stratę, zależy od tego ustawienia (w szczególności, czy mówimy o statystykach częstych czy bayesowskich ).

W podsumowaniu:

• Funkcje decyzyjne służą do podejmowania decyzji na podstawie danych.
• Funkcje strat służą do określenia, której funkcji decyzyjnej należy użyć.

Funkcja straty jest minimalizowana, aby uzyskać model, który jest w pewnym sensie optymalny. Sam model ma funkcję decyzyjną, która służy do przewidywania.

Na przykład w klasyfikatorach SVM:

• funkcja utraty: minimalizuje błąd i podniesioną do kwadratu normę oddzielającej hiperpłaszczyzny $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• funkcja decyzyjna: podpisana odległość do hiperpłaszczyzny oddzielającej: $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$