Oczekiwana wartość losowej zmiennej Gaussa przekształconej funkcją logistyczną

10

Zarówno funkcja logistyczna, jak i odchylenie standardowe są zwykle oznaczane . Będziemy używać i dla standardowego odchylenia. $\sigma$ $\sigma(x) = 1/(1+\exp(-x))$ $s$

Mam logistycznego neuron z wejściem losowej którego średnia $\mu$ i odchylenie standardowe $s$ wiem. Mam nadzieję, że różnica od średniej może być dobrze przybliżona przez szum Gaussa. Tak więc, z lekkim nadużyciem notacji, załóżmy, że produkuje $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ . Jaka jest oczekiwana wartość $\sigma(N(\mu,s^2))$ ? Odchylenie standardowe $s$ może być duża lub mała w porównaniu z $\mu$ lub $1$ . Dobre przybliżenie postaci zamkniętej dla oczekiwanej wartości byłoby prawie tak dobre, jak rozwiązanie postaci zamkniętej.

Nie sądzę, aby istniało rozwiązanie w formie zamkniętej. Można to postrzegać jako splot, a charakterystyczna funkcja gęstości logistycznej jest znana ( $\pi t ~\text{csch} ~\pi t$ ), ale nie jestem pewien, jak bardzo to pomaga. Odwrotny kalkulator symboliczny był w stanie rozpoznać gęstość w temperaturze $0$ do splotu gęstości rozkładu logistycznego oraz standardowego rozkładu normalnego, co sugeruje, ale nie dowodzi, że nie ma prostego elementarny całki. Bardziej poszlakowe dowody: w niektórych artykułach na temat dodawania szumu wejściowego Gaussa do sieci neuronowych z neuronami logistycznymi, dokumenty te również nie zawierały wyrażeń w formie zamkniętej.

Pytanie to pojawiło się przy próbie zrozumienia błędu w przybliżeniu średniego pola w maszynach Boltzmana.

— Douglas Zare
źródło

5

Oto co ostatecznie wykorzystałem:

Napisz gdzie . Możemy użyć rozszerzenia serii Taylor. $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ $X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Występują problemy z konwergencją. Funkcja logistyczna ma biegun, w którym , więc przy , nieparzyste. Rozbieżność nie jest tym samym, co prefiks jest bezużyteczny, ale to przybliżenie serii może być zawodne, gdy jest znaczące. $\exp(-x) = -1$ $x = k \pi i$ $k$ $P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Ponieważ , możemy zapisywać pochodne jako wielomiany w . Na przykład i . Współczynniki są powiązane z OEIS A028246 . $\sigma'(x) = \sigma(x) (1-\sigma(x))$ $\sigma(x)$ $\sigma(x)$ $\sigma'' = \sigma-3\sigma^2+2\sigma^3$ $\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

— Douglas Zare
źródło

4

Masz tutaj losową zmienną, która podąża za logit-normalną (lub logistyczno-normalną) dystrybucją (patrz wikipedia ), czyli . Momenty rozkładu logit-normal nie mają rozwiązań analitycznych. $\mbox{logit}[x] \sim N(\mu, s^2)$

Ale oczywiście można je uzyskać za pomocą integracji numerycznej. Jeśli używasz R, pakiet logitnorm zawiera wszystko, czego potrzebujesz. Przykład:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Daje to:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Tak więc istnieje nawet funkcja wygody, która bezpośrednio da ci średnią i wariancję.

— Wolfgang
źródło