Zasadniczo naiwny klasyfikator Bayesa nie jest liniowy, ale jeśli czynniki prawdopodobieństwa pochodzą z rodzin wykładniczych , naiwny klasyfikator Bayesa odpowiada klasyfikatorowi liniowemu w określonej przestrzeni cech. Oto jak to zobaczyć.p(xi∣c)
Możesz napisać dowolny naiwny klasyfikator Bayesa jako *
p(c=1∣x)=σ(∑ilogp(xi∣c=1)p(xi∣c=0)+logp(c=1)p(c=0)),
gdzie jest funkcją logistyczną . Jeśli pochodzi z rodziny wykładniczej, możemy zapisać jakoσp(xi∣c)
p(xi∣c)=hi(xi)exp(u⊤icϕi(xi)−Ai(uic)),
and hence
p(c=1∣x)=σ(∑iw⊤iϕi(xi)+b),
where
wib=ui1−ui0,=logp(c=1)p(c=0)−∑i(Ai(ui1)−Ai(ui0)).
Note that this is similar to logistic regression – a linear classifier – in the feature space defined by the ϕi. For more than two classes, we analogously get multinomial logistic (or softmax) regression.
If p(xi∣c) is Gaussian, then ϕi(xi)=(xi,x2i) and we should have
wi1wi2bi=σ−21μ1−σ−20μ0,=2σ−20−2σ−21,=logσ0−logσ1,
assuming p(c=1)=p(c=0)=12.
*Here is how to derive this result:
p(c=1∣x)=p(x∣c=1)p(c=1)p(x∣c=1)p(c=1)+p(x∣c=0)p(c=0)=11+p(x∣c=0)p(c=0)p(x∣c=1)p(c=1)=11+exp(−logp(x∣c=1)p(c=1)p(x∣c=0)p(c=0))=σ(∑ilogp(xi∣c=1)p(xi∣c=0)+logp(c=1)p(c=0))