Co to znaczy „współdzielić parametry między funkcjami i klasami”

Podczas czytania tego artykułu pojawia się wiersz „klasyfikatory liniowe nie dzielą parametrów między cechami i klasami”. Jakie jest znaczenie tego stwierdzenia? Czy to oznacza, że klasyfikatory liniowe, takie jak regresja logistyczna, potrzebują cech, które są od siebie niezależne?

machine-learning logistic-regression multilabel-classification

— joydeep bhattacharjee
źródło

Spróbuję odpowiedzieć na to pytanie za pomocą regresji logistycznej , jednego z najprostszych klasyfikatorów liniowych.

Najprostszym przypadkiem regresji logistycznej jest to, że mamy zadanie klasyfikacji binarnej ( i tylko jedną cechę wejściową ( ). W takim przypadku wynikiem regresji logistycznej byłoby: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ gdzie

w

$w$ i

b

$b$ są skalarami . Dane wyjściowe modelu

\hat{y} \in [0, 1]

$\hat y \in [0,1]$ odpowiadają prawdopodobieństwu, że

x

$x$ będzie klasy

1

$1$ .

Spróbujemy rozbić wyrażenie „klasyfikatory liniowe nie dzielą parametrów między cechami i klasami” na dwie części. Przebadamy przypadki wielu funkcji i wielu klas oddzielnie, aby sprawdzić, czy regresja logistyczna udostępnia parametry dla tych zadań:

Czy klasyfikatory liniowe dzielą parametry między cechami?

W tym przypadku dla każdego przykładu $y$ jest skalarem, który przyjmuje wartości binarne (jak poprzednio), podczas gdy $x$ jest wektorem długości $N$ (gdzie $N$ jest liczbą funkcji). W tym przypadku dane wyjściowe są liniową kombinacją cech wejściowych (tj. Ważonej sumy tych cech plus odchylenia).

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ , gdzie i są wektorami o długości . Produkt tworzy skalar. Jak widać z góry, dla każdej funkcji wejściowej istnieje osobna waga i te wagi są niezależnie od siebie niezależne . Z tego możemy wywnioskować, że nie ma podziału parametrów między funkcjami .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Czy klasyfikatory liniowe dzielą parametry między klasami?

W tym przypadku jest skalarem, jednak jest wektorem o długości (gdzie jest liczbą klas). Aby temu zaradzić, regresja logistyczna generuje osobne dane wyjściowe dla każdej z klasKażde wyjście jest skalarem i odpowiada prawdopodobieństwu przynależności do klasy . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Najłatwiej to wymyślić jako proste niezależne regresje logistyczne, z których każda ma wynik: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Z powyższego wynika, że między poszczególnymi klasami nie są dzielone ciężary .

wiele funkcji i wiele klas :

Łącząc dwa powyższe przypadki, możemy w końcu osiągnąć najbardziej ogólny przypadek wielu funkcji i wielu klas:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ gdzie jest wektorem o rozmiarze , jest wektorem o rozmiarze , jest wektorem o rozmiarze a jest macierzą o rozmiarze .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

W każdym razie klasyfikatory liniowe nie dzielą żadnych parametrów między cechami lub klasami .

Aby odpowiedzieć na twoje drugie pytanie, klasyfikatory liniowe mają podstawowe założenie, że cechy muszą być niezależne , jednak nie tak zamierzał autor artykułu.

— Djib2011
źródło

Ładne wyjaśnienie. :)

— joydeep bhattacharjee