TY - THES A1 - Mbouandi Njiasse, Ibrahim T1 - Stochastic models and optimal control of epidemics under partial information T1 - Stochastische Modelle und optimale Steuerung von Epidemien unter unvollständiger Information N2 - In this thesis, we develop a mathematical framework to estimate the compartment sizes of an epidemic model with some unobserved compartments (i.e., a model with partial information) and formulate a social planner's stochastic optimal control problem for such an epidemic. Including asymptomatic and unreported infectious individuals in the model allows a more realistic description of the course of an epidemic and avoids misleading estimation. In order to estimate the unobservable states, a suitable description of the dynamics of the epidemic progression by a diffusion approximation is achieved using counting processes. The estimation of the unobservable states is attributed to a stochastic filter problem. To solve this problem, we use the extended Kalman filter, which provides approximate solutions for such non-standard filter problems. This approach is applied to the state estimation of a model with incomplete information for a disease with lifelong immunity after recovery or vaccination. Simulations are carried out to demonstrate the effectiveness of this approach in practice. The main part of this work addresses a social planner's stochastic optimal control problem for an epidemic model with a partially observed state process. It decomposes the population into susceptible, detected and non-detected infected, detected and non-detected recovered, and hospitalized individuals. Control measures include social distancing, testing, and vaccination. We apply a filtering argument to transform the partially observable stochastic optimal control problem into a completely observable control problem by replacing the hidden state process with the associated Kalman filter processes. This transformed problem with an eight-dimensional state process is treated as a Markov decision process after a time discretization. The associated Bellman equation is solved numerically using a backward recursion algorithm combined with state discretization and quantization techniques to mitigate the curse of dimensionality. In particular, two approaches are implemented. The first involves state discretization and linear interpolation of the value function between grid points, while the second utilizes state discretization and parameterization of the value function with educated ansatz functions. Extensive numerical experiments are presented to demonstrate the effectiveness of both approximate optimal controls in containing the epidemic. Finally, we generalize the results of Picard (1991) on the efficiency of the continuous-time extended Kalman filter with small noise scaled by a parameter ε>0. First, we show that when the observation drift coefficient is strongly injective and the signal and observation drift become linear for ε → 0, the estimation error is of order √ε. Subsequently, we establish conditions under which the error in the initial filter estimate decays exponentially fast. N2 - Diese Arbeit behandelt mathematische Methoden zur Schätzung der Kompartimentgrößen eines Epidemiemodells mit nicht beobachtbaren Kompartimenten (d.h. ein Modell mit unvollständiger Information) und formuliert ein stochastisches Optimierungsproblem für einen gesellschaftlichen Entscheidungsträger. Die Einbeziehung asymptomatischer und nicht gemeldeter Infektionen ermöglicht eine realistischere Beschreibung des Epidemieverlaufs und vermeidet fehlerhafte Schätzungen. Die zur Beschreibung des Epidemieverlaufs verwendeten Zählprozesse werden zunächst durch Diffusionsprozesse approximiert. Die Schätzung der nicht beobachtbaren Zustände führt auf ein stochastisches Filterproblem in Nicht-Standard Form. Zur näherungsweisen Lösung wird der erweiterte Kalman-Filter verwendet. Dieser Ansatz wird auf die Zustandsschätzung eines Modells mit unvollständiger Information für eine Krankheit mit lebenslanger Immunität nach Genesung oder Impfung angewendet. Die durchgeführten Simulationen demonstrieren die Wirksamkeit dieses Ansatzes in der Praxis. Der Hauptteil dieser Arbeit behandelt ein stochastisches optimales Kontrollproblem eines Entscheidungsträgers für ein Epidemiemodell mit einem unvollständig beobachtbaren Zustandsprozess. Es unterteilt die Bevölkerung in anfällige, erkannte und nicht erkannte infizierte, erkannte und nicht erkannte genesene sowie hospitalisierte Personen. Zu den Kontrollmaßnahmen gehören Social Distancing, Tests und Impfungen. Das unvollständig beobachtbare stochastische optimale Kontrollproblem in ein vollständig beobachtbares Problem umgewandelt, indem der verborgene Zustandsprozess durch die zugehörigen Kalman-Filterprozesse ersetzt wird. Dieses transformierte Problem mit einem achtdimensionalen Zustandsprozess wird nach Zeitdiskretisierung als Markovscher Entscheidungsprozess behandelt. Die zugehörige Bellman-Gleichung wird numerisch unter Verwendung einer Rückwärtsrekursion in Kombination mit Zustandsdiskretisierungs- und Quantisierungstechniken gelöst, um den Fluch dem Dimensionalität zu begegnen. Es werden zwei Ansätze implementiert. Der erste umfasst die Zustandsdiskretisierung und lineare Interpolation der Wertfunktion zwischen Gitterpunkten, während der zweite die Zustandsdiskretisierung und Parametrisierung der Wertfunktion mit geeignet gewählten Ansatzfunktionen nutzt. Ergebnisse umfangreicher numerische Experimente zeigen die Wirksamkeit beider approximativer optimaler Kontrollen bei der Eindämmung der Epidemie. Schließlich verallgemeinern wir die Ergebnisse von Picard (1991) zur Effizienz des zeitstetigen erweiterten Kalman-Filters mit schwachem Rauschen, skaliert durch einen Parameter ε>0. Wir zeigen, dass, wenn der Driftkoeffizient der Beobachtungen stark injektiv ist und die Signal- und Beobachtungsdrift für ε → 0 linear werden, der Schätzfehler von der Größenordnung √ε ist. Weiterhin finden wir Bedingungen, unter denen der Fehler in der anfänglichen Filterschätzung exponentiell schnell abklingt. KW - Compartmental model KW - Partial information KW - Extended Kalman filter KW - Stochastic optimal control KW - Dynamic programming KW - Kompartimentmodell KW - Teilinformationen KW - Erweiterter Kalman-Filter KW - Stochastische optimale Steuerung KW - Dynamische Programmierung KW - Dynamische Optimierung KW - Kompartimentmodell KW - Kalman-Filter KW - Stochastische optimale Kontrolle Y1 - 2025 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-71272 ER - TY - THES A1 - Shardin, Anton T1 - Stochastische optimale Steuerungsprobleme mit partieller Information für einen Energiespeicher T1 - Partially observable stochastic optimal control problems for an energy storage N2 - In dieser Arbeit werden stochastische Optimalsteuerungsprobleme unter partieller Information untersucht, welche im Zusammenhang mit der optimalen Bewirtschaftung eines Energiespeichers entstehen. Dabei werden sowohl der Fall eines endlichen als auch unendlichen Zeithorizontes betrachtet. Für die Beschreibung des Energiepreises wird ein Regime-Switching-Modell eingesetzt, in dem die sich ändernden ökonomischen Rahmenbedingungen durch eine nicht beobachtbare Markov-Kette beschrieben werden. Das entstehende stochastische Optimalsteuerungsproblem unter partieller Information wird durch Anwendung von Filtertechniken in ein Problem unter voller Information überführt. Anschließend wird die dem neuen Problem zugeordnete Hamilton-Jacobi-Bellman-Gleichung (HJB-Gleichung) aufgestellt und untersucht. Diese HJB-Gleichung ist degeneriert, da der Diffusionsteil des Differentialoperators nicht gleichmäßig elliptisch ist. Damit ist es nicht möglich, klassische Existenz- und Eindeutigkeitsresultate für die Lösung der HJB-Gleichung und entsprechende Verifikationssätze für das Optimalsteuerungsproblem anzuwenden. Deshalb wird in der Dissertation eine Regularisierungstechnik eingesetzt, welche die gleichmäßige Elliptizität des Differentialoperators herstellt. Es wird der Beweis geführt, dass die Wertfunktion für das regularisierte Kontrollproblem gegen die für das Ausgangsproblem konvergiert, wenn der bei der Regularisierung eingesetzte Störterm gegen null geht. Schließlich wird gezeigt, dass die optimalen Steuerungen für das regularisierte Problem näherungsweise optimal für das Ausgangsproblem sind. Für die optimalen Steuerungen wird eine geschlossene Darstellung in Form einer Markovschen Entscheidungsregel in Abhängigkeit von der Wertfunktion angegeben. Für das untersuchte Steuerungsproblem ist nicht zu erwarten, eine analytische Lösung der HJB-Gleichung zu erhalten. Daher werden in der Arbeit auf Differenzenverfahren aufbauende numerische Methoden zum Lösen der HJB-Gleichung behandelt. Für das Steuerungsproblem mit endlichem Zeithorizont werden insbesondere ein Semi-Lagrangesches und ein explizit- implizites Approximationsschema entwickelt und deren Eigenschaften untersucht. Für das Problem mit unendlichem Zeithorizont wird das Steuerungsproblem mit dem Policy-Improvement-Verfahren iterativ gelöst. Die Arbeit präsentiert eine Vielzahl von Ergebnissen numerischer Experimente, welche mit den entwickelten Verfahren durchgeführt wurden. Diese zeigen typische Eigenschaften der Wertfunktion und der optimalen Steuerung. Der Vergleich der Ergebnisse für unterschiedliche Regularisierungsparameter mit denen für das unregularisierte Problem bestätigt die erhaltenen theoretischen Konvergenzaussagen. Schließlich wird die Sensitivität der Wertfunktion und der optimalen Steuerung hinsichtlich der Variation der Modellparameter untersucht. N2 - In this thesis stochastic optimal control problems under partial information, which occur in the context of optimal management of an energy storage facility are studied. Thereby the case of a finite as well as an infinite time horizon are considered. For the description of the energy price a regime switching model is applied, where the changing economic framework is described by a non-observable Markov chain. The resulting stochastic optimal control problem under partial information is transformed into a problem under full information by the application of filtering techniques. Subsequently the Hamilton-Jacobi-Bellman equation (HJB equation) associated to the new problem is derived and studied. This HJB equation is degenerate since the diffusion part of the differential operator is not uniformly elliptic. Hence it is not possible to apply classical existence and uniqueness results and corresponding verification theorems for the optimal control problem to the solution of the HJB equation. Therefore, in this dissertation a regularisation technique is used, which makes the differential operator uniformly elliptic. It is proven that the value function for the regularised control problem converges to the one of the original problem as the error term used for the regularisation goes to zero. Finally it is shown that the optimal controls for the regularised problem are approximately optimal for the original problem. For the optimal controls a closed form description in the form of a Markov decision rule in dependence of the value function is derived. For the studied control problem it is not expected to obtain an analytical solution of the HJB equation. Therefore, in this thesis numerical methods for solving the HJB equation, which build on difference methods, are treated. For the control problem with finite time horizon particularly a semi-Lagrangian and an explicit-implicit approximation scheme are developed and their properties are studied. For the problem with infinite time horizon the control problem is solved iteratively with the policy improvement method. The thesis presents a multitude of results of numerical experiments, which were conducted with the developed methods. These show typical properties of the value function and the optimal control. The comparison of the results with different regularisation parameters to the ones of the non-regularised problem confirms the obtained theoretical convergence statements. Finally, the sensitivity of the value function and the optimal control with respect to the variation of the model parameters is studied. KW - Stochastische optimale Steuerung KW - HJB-Gleichung KW - Filter KW - Hidden-Markov-Modell KW - Regularisierung KW - Finite-Differenzen-Verfahren KW - Dynamic programming KW - Stochastic optimal control KW - HJB equation KW - Filtering KW - Hidden Markov model KW - Finite-difference methods KW - Regularization KW - Stochastische optimale kontrolle KW - Hamilton-Jacobi-Differentialgleichung KW - Hidden-Markov-Modell KW - Finite-Differenzen-Methode Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-42490 ER -