TY - THES A1 - Shardin, Anton T1 - Stochastische optimale Steuerungsprobleme mit partieller Information für einen Energiespeicher T1 - Partially observable stochastic optimal control problems for an energy storage N2 - In dieser Arbeit werden stochastische Optimalsteuerungsprobleme unter partieller Information untersucht, welche im Zusammenhang mit der optimalen Bewirtschaftung eines Energiespeichers entstehen. Dabei werden sowohl der Fall eines endlichen als auch unendlichen Zeithorizontes betrachtet. Für die Beschreibung des Energiepreises wird ein Regime-Switching-Modell eingesetzt, in dem die sich ändernden ökonomischen Rahmenbedingungen durch eine nicht beobachtbare Markov-Kette beschrieben werden. Das entstehende stochastische Optimalsteuerungsproblem unter partieller Information wird durch Anwendung von Filtertechniken in ein Problem unter voller Information überführt. Anschließend wird die dem neuen Problem zugeordnete Hamilton-Jacobi-Bellman-Gleichung (HJB-Gleichung) aufgestellt und untersucht. Diese HJB-Gleichung ist degeneriert, da der Diffusionsteil des Differentialoperators nicht gleichmäßig elliptisch ist. Damit ist es nicht möglich, klassische Existenz- und Eindeutigkeitsresultate für die Lösung der HJB-Gleichung und entsprechende Verifikationssätze für das Optimalsteuerungsproblem anzuwenden. Deshalb wird in der Dissertation eine Regularisierungstechnik eingesetzt, welche die gleichmäßige Elliptizität des Differentialoperators herstellt. Es wird der Beweis geführt, dass die Wertfunktion für das regularisierte Kontrollproblem gegen die für das Ausgangsproblem konvergiert, wenn der bei der Regularisierung eingesetzte Störterm gegen null geht. Schließlich wird gezeigt, dass die optimalen Steuerungen für das regularisierte Problem näherungsweise optimal für das Ausgangsproblem sind. Für die optimalen Steuerungen wird eine geschlossene Darstellung in Form einer Markovschen Entscheidungsregel in Abhängigkeit von der Wertfunktion angegeben. Für das untersuchte Steuerungsproblem ist nicht zu erwarten, eine analytische Lösung der HJB-Gleichung zu erhalten. Daher werden in der Arbeit auf Differenzenverfahren aufbauende numerische Methoden zum Lösen der HJB-Gleichung behandelt. Für das Steuerungsproblem mit endlichem Zeithorizont werden insbesondere ein Semi-Lagrangesches und ein explizit- implizites Approximationsschema entwickelt und deren Eigenschaften untersucht. Für das Problem mit unendlichem Zeithorizont wird das Steuerungsproblem mit dem Policy-Improvement-Verfahren iterativ gelöst. Die Arbeit präsentiert eine Vielzahl von Ergebnissen numerischer Experimente, welche mit den entwickelten Verfahren durchgeführt wurden. Diese zeigen typische Eigenschaften der Wertfunktion und der optimalen Steuerung. Der Vergleich der Ergebnisse für unterschiedliche Regularisierungsparameter mit denen für das unregularisierte Problem bestätigt die erhaltenen theoretischen Konvergenzaussagen. Schließlich wird die Sensitivität der Wertfunktion und der optimalen Steuerung hinsichtlich der Variation der Modellparameter untersucht. N2 - In this thesis stochastic optimal control problems under partial information, which occur in the context of optimal management of an energy storage facility are studied. Thereby the case of a finite as well as an infinite time horizon are considered. For the description of the energy price a regime switching model is applied, where the changing economic framework is described by a non-observable Markov chain. The resulting stochastic optimal control problem under partial information is transformed into a problem under full information by the application of filtering techniques. Subsequently the Hamilton-Jacobi-Bellman equation (HJB equation) associated to the new problem is derived and studied. This HJB equation is degenerate since the diffusion part of the differential operator is not uniformly elliptic. Hence it is not possible to apply classical existence and uniqueness results and corresponding verification theorems for the optimal control problem to the solution of the HJB equation. Therefore, in this dissertation a regularisation technique is used, which makes the differential operator uniformly elliptic. It is proven that the value function for the regularised control problem converges to the one of the original problem as the error term used for the regularisation goes to zero. Finally it is shown that the optimal controls for the regularised problem are approximately optimal for the original problem. For the optimal controls a closed form description in the form of a Markov decision rule in dependence of the value function is derived. For the studied control problem it is not expected to obtain an analytical solution of the HJB equation. Therefore, in this thesis numerical methods for solving the HJB equation, which build on difference methods, are treated. For the control problem with finite time horizon particularly a semi-Lagrangian and an explicit-implicit approximation scheme are developed and their properties are studied. For the problem with infinite time horizon the control problem is solved iteratively with the policy improvement method. The thesis presents a multitude of results of numerical experiments, which were conducted with the developed methods. These show typical properties of the value function and the optimal control. The comparison of the results with different regularisation parameters to the ones of the non-regularised problem confirms the obtained theoretical convergence statements. Finally, the sensitivity of the value function and the optimal control with respect to the variation of the model parameters is studied. KW - Stochastische optimale Steuerung KW - HJB-Gleichung KW - Filter KW - Hidden-Markov-Modell KW - Regularisierung KW - Finite-Differenzen-Verfahren KW - Dynamic programming KW - Stochastic optimal control KW - HJB equation KW - Filtering KW - Hidden Markov model KW - Finite-difference methods KW - Regularization KW - Stochastische optimale kontrolle KW - Hamilton-Jacobi-Differentialgleichung KW - Hidden-Markov-Modell KW - Finite-Differenzen-Methode Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-42490 ER -