Jak poradzić sobie z zerowym współczynnikiem w obliczeniach Naive Bayes Classifier?

Jeśli mam zestaw danych treningowych i trenuję na nim klasyfikator Naive Bayes i mam wartość atrybutu, która ma prawdopodobieństwo zerowe. Jak sobie z tym poradzić, jeśli chcę później przewidzieć klasyfikację nowych danych? Problem polega na tym, że jeśli w obliczeniach jest zero, cały produkt staje się zerowy, bez względu na to, ile innych wartości mam, które mogłyby znaleźć inne rozwiązanie.

Przykład:

$P(x|spam=yes) = P(TimeZone = US | spam=yes) \cdot P(GeoLocation = EU | spam = yes) \cdot ~ ... ~ = 0.004$

$P(x|spam=no) = P(TimeZone = US | spam=no) \cdot P(GeoLocation = EU | spam = no) \cdot ~ ... ~ = 0$

Cały produkt staje się ponieważ w danych treningowych atrybut TimeZone US ma zawsze wartość Tak w naszym małym zestawie danych treningowych. Jak sobie z tym poradzić? Czy powinienem użyć większego zestawu danych treningowych, czy też istnieje inna możliwość rozwiązania tego problemu?$0$

Podejściem do przezwyciężenia tego „problemu zerowej częstotliwości” w ustawieniu Bayesa jest dodanie jednego do liczby dla każdej kombinacji wartość-klasa atrybutu, gdy wartość atrybutu nie występuje z każdą wartością klasy. Powiedzmy na przykład, że twoje dane treningowe wyglądały tak:

$$\begin{array}{c|c|c|} & \text{Spam} = yes & \text{Spam} = no \\ \hline \text{TimeZone} = US & 10 & 5 \\ \hline \text{TimeZone} = EU & 0 & 0 \\ \hline \end{array}$$

$P(\text{TimeZone} = US | \text{Spam} = yes) = \frac{10}{10} = 1$

$P(\text{TimeZone} = EU | \text{Spam} = yes) = \frac{0}{10} = 0$

Następnie powinieneś dodać jedną do każdej wartości w tej tabeli, gdy używasz jej do obliczania prawdopodobieństw:

$$\begin{array}{c|c|c|} & \text{Spam} = yes & \text{Spam} = no \\ \hline \text{TimeZone} = US & 11 & 6 \\ \hline \text{TimeZone} = EU & 1 & 1 \\ \hline \end{array}$$

$P(\text{TimeZone} = US | \text{Spam} = yes) = \frac{11}{12}$

$P(\text{TimeZone} = EU | \text{Spam} = yes) = \frac{1}{12}$