Refine
Document Type
- Doctoral thesis (2)
Has Fulltext
- yes (2)
Is part of the Bibliography
- no (2)
Keywords
Institute
In this thesis, we develop a mathematical framework to estimate the compartment sizes of an epidemic model with some unobserved compartments (i.e., a model with partial information) and formulate a social planner's stochastic optimal control problem for such an epidemic. Including asymptomatic and unreported infectious individuals in the model allows a more realistic description of the course of an epidemic and avoids misleading estimation.
In order to estimate the unobservable states, a suitable description of the dynamics of the epidemic progression by a diffusion approximation is achieved using counting processes. The estimation of the unobservable states is attributed to a stochastic filter problem. To solve this problem, we use the extended Kalman filter, which provides approximate solutions for such non-standard filter problems. This approach is applied to the state estimation of a model with incomplete information for a disease with lifelong immunity after recovery or vaccination. Simulations are carried out to demonstrate the effectiveness of this approach in practice.
The main part of this work addresses a social planner's stochastic optimal control problem for an epidemic model with a partially observed state process. It decomposes the population into susceptible, detected and non-detected infected, detected and non-detected recovered, and hospitalized individuals. Control measures include social distancing, testing, and vaccination. We apply a filtering argument to transform the partially observable stochastic optimal control problem into a completely observable control problem by replacing the hidden state process with the associated Kalman filter processes. This transformed problem with an eight-dimensional state process is treated as a Markov decision process after a time discretization. The associated Bellman equation is solved numerically using a backward recursion algorithm combined with state discretization and quantization techniques to mitigate the curse of dimensionality. In particular, two approaches are implemented. The first involves state discretization and linear interpolation of the value function between grid points, while the second utilizes state discretization and parameterization of the value function with educated ansatz functions. Extensive numerical experiments are presented to demonstrate the effectiveness of both approximate optimal controls in containing the epidemic.
Finally, we generalize the results of Picard (1991) on the efficiency of the continuous-time extended Kalman filter with small noise scaled by a parameter ε>0. First, we show that when the observation drift coefficient is strongly injective and the signal and observation drift become linear for ε → 0, the estimation error is of order √ε. Subsequently, we establish conditions under which the error in the initial filter estimate decays exponentially fast.
Stochastische optimale Steuerungsprobleme mit partieller Information für einen Energiespeicher
(2017)
In dieser Arbeit werden stochastische Optimalsteuerungsprobleme unter partieller Information
untersucht, welche im Zusammenhang mit der optimalen Bewirtschaftung eines Energiespeichers entstehen. Dabei werden sowohl der Fall eines endlichen als auch unendlichen Zeithorizontes betrachtet. Für die Beschreibung des Energiepreises wird ein Regime-Switching-Modell eingesetzt, in dem die sich ändernden ökonomischen Rahmenbedingungen durch eine nicht beobachtbare Markov-Kette beschrieben werden.
Das entstehende stochastische Optimalsteuerungsproblem unter partieller Information wird durch Anwendung von Filtertechniken in ein Problem unter voller Information überführt. Anschließend wird die dem neuen Problem zugeordnete Hamilton-Jacobi-Bellman-Gleichung
(HJB-Gleichung) aufgestellt und untersucht. Diese HJB-Gleichung ist degeneriert, da der Diffusionsteil des Differentialoperators nicht gleichmäßig elliptisch ist. Damit ist es nicht möglich, klassische Existenz- und Eindeutigkeitsresultate für die Lösung der HJB-Gleichung und entsprechende Verifikationssätze für das Optimalsteuerungsproblem anzuwenden. Deshalb wird in der Dissertation eine Regularisierungstechnik eingesetzt, welche die gleichmäßige Elliptizität des Differentialoperators herstellt. Es wird der Beweis geführt, dass die Wertfunktion für das regularisierte Kontrollproblem gegen die für das Ausgangsproblem konvergiert, wenn der bei der Regularisierung eingesetzte Störterm gegen null geht. Schließlich wird gezeigt, dass die optimalen Steuerungen für das regularisierte Problem näherungsweise optimal für das Ausgangsproblem sind. Für die optimalen Steuerungen wird eine geschlossene Darstellung in Form einer Markovschen Entscheidungsregel in Abhängigkeit von der Wertfunktion angegeben.
Für das untersuchte Steuerungsproblem ist nicht zu erwarten, eine analytische Lösung der HJB-Gleichung zu erhalten. Daher werden in der Arbeit auf Differenzenverfahren aufbauende numerische Methoden zum Lösen der HJB-Gleichung behandelt. Für das Steuerungsproblem mit endlichem Zeithorizont werden insbesondere ein Semi-Lagrangesches und ein explizit-
implizites Approximationsschema entwickelt und deren Eigenschaften untersucht. Für das Problem mit unendlichem Zeithorizont wird das Steuerungsproblem mit dem Policy-Improvement-Verfahren iterativ gelöst.
Die Arbeit präsentiert eine Vielzahl von Ergebnissen numerischer Experimente, welche mit den entwickelten Verfahren durchgeführt wurden. Diese zeigen typische Eigenschaften der Wertfunktion und der optimalen Steuerung. Der Vergleich der Ergebnisse für unterschiedliche
Regularisierungsparameter mit denen für das unregularisierte Problem bestätigt die erhaltenen theoretischen Konvergenzaussagen. Schließlich wird die Sensitivität der Wertfunktion und der optimalen Steuerung hinsichtlich der Variation der Modellparameter untersucht.
