Problem z wędkarstwem

Załóżmy, że chcesz łowić ryby w pobliskim jeziorze od 8:00 do 20:00. Z powodu przełowienia wprowadzono prawo, które mówi, że możesz złowić tylko jedną rybę dziennie. Kiedy złapiesz rybę, możesz ją zatrzymać (i w ten sposób wrócić do domu z tą rybą), lub wrzucić ją z powrotem do jeziora i kontynuować łowienie (ale ryzykuj później osiedlenie się z mniejszą rybą lub brak ryb). Chcesz złapać jak największą rybę; w szczególności chcesz zmaksymalizować oczekiwaną masę ryb, które przywieziesz do domu.

Formalnie możemy ustawić ten problem w następujący sposób: ryby są łapane w określonym tempie (więc czas potrzebny do złapania następnej ryby jest zgodny ze znanym rozkładem wykładniczym), a rozmiar złowionych ryb jest zgodny z pewną (znaną) dystrybucją . Chcemy pewnego procesu decyzyjnego, który biorąc pod uwagę aktualny czas i rozmiar właśnie złowionej ryby, decyduje, czy zatrzymać ją, czy odrzucić.

Pytanie zatem brzmi: jak podjąć taką decyzję? Czy jest jakiś prosty (lub skomplikowany) sposób decydowania, kiedy przestać łowić ryby? Myślę, że problem jest równoznaczny z ustaleniem, na pewien czas t, jaka oczekiwana masa ryb, którą optymalny rybak zabrałby do domu, gdyby zaczęli w czasie t; optymalny proces decyzyjny pozwoliłby utrzymać rybę tylko wtedy, gdy jest ona cięższa niż oczekiwana masa. Ale to wydaje się trochę samoreferencyjne; określamy optymalną strategię połowową pod kątem optymalnego rybaka i nie jestem pewien, jak postępować.

Niech $\lambda$ oznacza szybkość procesu Poissona i niech $S(x)=1-F(x)$ gdzie $F(x)$ jest funkcją skumulowanego rozkładu rozkładu wielkości ryb.

Niech $t=0$ oznacza koniec dnia i niech $g(t)$ , $t\le 0$ , oznacza oczekiwany połów w przedziale $(t,0)$ który otrzymujemy, jeśli zastosujemy optymalną strategię. Wyraźnie $g(0)=0$ . Ponadto, jeśli złapiemy rybę o rozmiarze $x$ w czasie $t$ , powinniśmy ją zatrzymać i przestać łowić, jeśli jest większa niż $g(t)$ . To jest nasza zasada decyzyjna. Realizacja procesu i zrealizowana decyzja (zielony punkt) mogą zatem wyglądać następująco:

Pracując w ciągłym czasie, wykorzystując pomysły ze stochastycznego programowania dynamicznego , zmianę w $g(t)$ w czasie opisuje proste równanie różniczkowe. Rozważmy nieskończenie mały odstęp czasu $(t-dt,t)$ . Prawdopodobieństwo, że złowimy rybę o rozmiarze $X>g(t)$ w tym przedziale czasu wynosi

$$\lambda dt S(g(t)),$$ przeciwnym razie nasz oczekiwany połów wyniesie $g(t)$ .

Stosując wzór na średni pozostały okres życia , oczekiwany rozmiar ryby większy niż $g(t)$ jako

$$E(X|X>g(t))=g(t)+\frac1{S(g(t))}\int_{g(t)}^\infty S(x)dx.$$

Zatem, stosując prawo całkowitego oczekiwania, oczekiwany połów w przedziale $(t-dt,0)$ staje się

$$g(t-dt) =[\lambda dt S(g(t))][g(t)+\frac1{S(g(t))}\int_{g(t)}^\infty S(x)dx] + [1-\lambda dt S(g(t)] g(t).$$

Zmiana układu okazuje się, że $g(t)$ spełnia wymagania

$$\frac{dg}{dt}=-\lambda \int_{g(t)}^\infty S(x) dx. \tag{1}$$ Uwaga sposób$g(t)$w kierunku końca spadku dzień przy szybkości równa iloczynowi natężenia Poissona$\lambda$i średniej wielkości ryb$\int_0^\infty S(x)dx$odzwierciedla to zostanie w tym miejscu najlepiej od trzymania każda ryba, którą moglibyśmy złowić.

$X\sim \exp(\alpha)$$S(x)=e^{-\alpha x}$

$$\frac{dg}{dt}=-\frac\lambda\alpha e^{-\alpha g(t)}$$ $$g(t) = \frac1\alpha\ln(1-\lambda t),$$ $t\le 0$$\alpha=\lambda=1$$g(-12)$

g <- function(t,lambda, rate) {
  1/rate*log(1-lambda*t)
}
catch <- function(daylength=12, lambda=1, rfn=runif, gfn=g, ...) {
  n <- rpois(1,daylength*lambda)
  starttime <- -daylength
  arrivaltimes <- sort(runif(n,starttime,0))
  X <- rfn(n,...)
  j <- match(TRUE, X > gfn(arrivaltimes,lambda,...))
  if (is.na(j))
    0
  else
    X[j]
}
nsim <- 1e+5
catches <- rep(0,nsim)
for (i in 1:nsim)
  catches[i] <- catch(gfn=g,rfn=rexp,rate=1,lambda=1)
> mean(catches)
[1] 2.55802
> g(-12,1,1)
[1] 2.564949

$X \sim U(0,1)$

$$g(t) = 1 - \frac1{1-\lambda t/2}$$ $g(t)$$t\rightarrow -\infty$