Refine
Document Type
- Doctoral thesis (3)
Has Fulltext
- yes (3)
Is part of the Bibliography
- no (3)
Keywords
- Stochastische optimale Steuerung (3) (remove)
Institute
Motivated by computing functionals of high-dimensional, potentially metastable diffusion processes, this thesis studies robustness issues appearing in the numerical approximation of expectation values and their gradients. A major challenge being high variances of corresponding estimators, we investigate importance sampling of stochastic processes for improving statistical properties and provide novel nonasymptotic bounds on the relative error of corresponding estimators depending on deviations from optimality. Numerical strategies that aim to come close to those optimal sampling strategies can be encompassed in the framework of path space measures, and minimizing suitable divergences between those measures suggests a variational formulation that can be addressed in the spirit of machine learning. A key observation is that while several natural choices of divergences have the same unique minimizer, their finite sample properties differ vastly. We provide the novel log-variance divergence, which turns out to have favorable robustness properties that we investigate theoretically and apply in the context of path space measures as well as in the context of densities, for instance offering promising applications in Bayesian variational inference.
Aiming for optimal importance sampling of diffusions is (more or less) equivalent to solving Hamilton-Jacobi- Bellman PDEs and it turns out that our numerical methods can be equally applied for the approximation of rather general high-dimensional semi-linear PDEs. Motivated by stochastic representations of elliptic and parabolic boundary value problems we refine variational methods based on backward SDEs and provide the novel diffusion loss, which can be related to other state-of-the-art attempts, while offering certain numerical advantages.
In dieser Arbeit untersuchen wir optimale Portfoliostrategien für nutzenmaximierende Investoren in einem zeitstetigen Finanzmarktmodell, bei dem die Drift durch einen Ornstein-Uhlenbeck-Prozess modelliert wird, welcher nicht direkt beobachtbar und vom Investor aus den ihm zur Verfügung stehenden Information zu schätzen ist.
Da die optimalen Handelsstrategien sehr sensibel auf die Driftparameter reagieren, benötigen Investoren möglichst genaue Driftschätzungen auf der Basis der ihnen zur Verfügung stehenden Informationen. Die Konstruktion solcher Schätzungen allein aus der Kenntnis von historischen Marktdaten liefert allerdings in der Praxis nur unbefriedigende Ergebnisse, da Drifteffekte in den Daten durch eine starke Volatilität überlagert werden. Aus diesen Gründen beziehen Investoren für die Bestimmung ihrer Anlagestrategien auch andere externe Informationsquellen ein, um die Einschätzung der unbekannten Drifts zu verbessern. Dabei handelt es sich z.B. um Wirtschaftsnachrichten, Unternehmensberichte, Ratings, Empfehlungen von Finanzanalysten oder die eigene individuelle Sicht auf die zukünftige Preisentwicklung. Solche externen Informationen werden in der Literatur Expertenmeinungen genannt.
Die Arbeit klassifiziert die Experten in drei Kategorien: Expertenmeinungen zu vorab bekannten Zeitpunkten, zu zufälligen Zeitpunkten und in stetiger Zeit. Für Vergleichszwecke betrachten wir weiterhin das Modell ohne Expertenmeinungen und ein Modell mit vollständig beobachtbarer Drift. Darauf aufbauend behandeln wir dynamische Nutzenmaximierungsprobleme für den Potenz-Nutzen. Diese überführen wir unter Verwendung von Filter- und Maßwechseltechniken in risikosensitive stochastische optimale Steuerungsprobleme. Bei den Modellen ohne Expertenmeinungen bzw. mit einem zeitstetigen Experten ist der gesteuerte Zustand ein Diffusionsprozess und es gelingt, geschlossene Lösungen für die Kontrollprobleme anzugeben. Für das Modell mit Expertenmeinungen zu bekannten Zeitpunkten erfolgt die Lösung des Optimierungsproblems durch eine Rückwärtsrekursion.
Im Modell mit Expertenmeinungen zu zufälligen Zeitpunkten ist die zugehörige DPE eine partielle Integro-Differentialgleichung (PIDE), welche im Diffusionsteil des Differentialoperators degeneriert ist. Dies verhindert die Anwendung klassischer Existenz- und Eindeutigkeitsresultate für die Lösung der PIDE und von entsprechenden Verifikationssätzen für das Kontrollproblem. Mit Hilfe einer Regularisierungstechnik definieren wir durch die Hinzufügung eines Diffusionstermes eine Familie von Kontrollproblemen und zeigen, dass die zugehörigen Wertfunktionen gegen die Wertfunktion des ursprünglichen Kontrollproblems konvergiert, wenn der Diffusionsterm gegen Null geht. Da eine analytische Lösung der PIDE nicht zu erwarten ist, kommen in der Arbeit numerische Lösungsverfahren zum Einsatz. Diese diskretisieren die PIDE mit Hilfe von Differenzenschemata und numerischen Integrationsmethoden.
Die theoretischen Resultate der Arbeit werden durch Ergebnisse umfangreicher numerischer Experimente illustriert.
Stochastische optimale Steuerungsprobleme mit partieller Information für einen Energiespeicher
(2017)
In dieser Arbeit werden stochastische Optimalsteuerungsprobleme unter partieller Information
untersucht, welche im Zusammenhang mit der optimalen Bewirtschaftung eines Energiespeichers entstehen. Dabei werden sowohl der Fall eines endlichen als auch unendlichen Zeithorizontes betrachtet. Für die Beschreibung des Energiepreises wird ein Regime-Switching-Modell eingesetzt, in dem die sich ändernden ökonomischen Rahmenbedingungen durch eine nicht beobachtbare Markov-Kette beschrieben werden.
Das entstehende stochastische Optimalsteuerungsproblem unter partieller Information wird durch Anwendung von Filtertechniken in ein Problem unter voller Information überführt. Anschließend wird die dem neuen Problem zugeordnete Hamilton-Jacobi-Bellman-Gleichung
(HJB-Gleichung) aufgestellt und untersucht. Diese HJB-Gleichung ist degeneriert, da der Diffusionsteil des Differentialoperators nicht gleichmäßig elliptisch ist. Damit ist es nicht möglich, klassische Existenz- und Eindeutigkeitsresultate für die Lösung der HJB-Gleichung und entsprechende Verifikationssätze für das Optimalsteuerungsproblem anzuwenden. Deshalb wird in der Dissertation eine Regularisierungstechnik eingesetzt, welche die gleichmäßige Elliptizität des Differentialoperators herstellt. Es wird der Beweis geführt, dass die Wertfunktion für das regularisierte Kontrollproblem gegen die für das Ausgangsproblem konvergiert, wenn der bei der Regularisierung eingesetzte Störterm gegen null geht. Schließlich wird gezeigt, dass die optimalen Steuerungen für das regularisierte Problem näherungsweise optimal für das Ausgangsproblem sind. Für die optimalen Steuerungen wird eine geschlossene Darstellung in Form einer Markovschen Entscheidungsregel in Abhängigkeit von der Wertfunktion angegeben.
Für das untersuchte Steuerungsproblem ist nicht zu erwarten, eine analytische Lösung der HJB-Gleichung zu erhalten. Daher werden in der Arbeit auf Differenzenverfahren aufbauende numerische Methoden zum Lösen der HJB-Gleichung behandelt. Für das Steuerungsproblem mit endlichem Zeithorizont werden insbesondere ein Semi-Lagrangesches und ein explizit-
implizites Approximationsschema entwickelt und deren Eigenschaften untersucht. Für das Problem mit unendlichem Zeithorizont wird das Steuerungsproblem mit dem Policy-Improvement-Verfahren iterativ gelöst.
Die Arbeit präsentiert eine Vielzahl von Ergebnissen numerischer Experimente, welche mit den entwickelten Verfahren durchgeführt wurden. Diese zeigen typische Eigenschaften der Wertfunktion und der optimalen Steuerung. Der Vergleich der Ergebnisse für unterschiedliche
Regularisierungsparameter mit denen für das unregularisierte Problem bestätigt die erhaltenen theoretischen Konvergenzaussagen. Schließlich wird die Sensitivität der Wertfunktion und der optimalen Steuerung hinsichtlich der Variation der Modellparameter untersucht.