Refine
Document Type
- Doctoral thesis (10)
Has Fulltext
- yes (10)
Is part of the Bibliography
- no (10)
Keywords
- Stochastic optimal control (4)
- Stochastische optimale Steuerung (4)
- Dynamic programming (3)
- Optimierung (3)
- Partial information (3)
- Compartmental model (2)
- Extended Kalman filter (2)
- Filter (2)
- Filtering (2)
- Finite-Differenzen-Verfahren (2)
Institute
This work is devoted to the problem of liquidity that draws a lot of attention after the global financial crisis. We consider an optimization problem for a portfolio with an illiquid, a risky and a riskless liquid asset. We work in Merton’s optimal consumption framework with continuous time. The liquid part of the investment is described by a standard Black-Scholes market. The illiquid asset is sold at an exogenous random moment with prescribed distribution and generates additional liquid wealth dependent on its paper value. We show that one can consider a problem with infinite time horizon and special weight function that is characterized by the probability distribution of the liquidation time instead of a problem with an exogenous random liquidation time. Using the viscosity solution techniques, developed for the problem of optimization in presence of a random income, we prove the existence and uniqueness of the solution for the considered problem with logarithmic utility and modest restrictions on the liquidation time distribution. We find asymptotic bounds for the value function when liquidation time has exponential or Weibull distribution. We find optimal policies in a feedback form and illustrate how they differ from classical Merton’s policies. Through a Lie group analysis we find the admitted Lie algebra for a problem with general liquidation time distribution in cases of HARA and log utility functions and formulate corresponding theorems for all these cases. Using these Lie algebras we obtain reduced equations of the lower dimension for the studied three dimensional partial differential equations. Several of similar substitutions were used in other works before, whereas others are new to our knowledge. The applied method of Lie group analysis gives us the possibility to provide a complete set of non-equivalent substitutions and reduced equations that was not provided for the problem of such type so far. Further research of these equations with numerical and quantitative methods is expected to benefit from such analysis.
This thesis is concerned with stochastic models to manage financial risks. The first part deals with market risk and considers an investor facing a classical portfolio problem of optimal investment in log-Brownian stocks and a fixed-interest bond, but constrained to choose portfolio and consumption strategies which reduce the corresponding shortfall risk. Risk limits are formulated in terms of Value at Risk, Tail Conditional Expectation and Expected Loss and are dynamically imposed on the strategy as a risk constraint. The resulting stochastic optimal control problem is tackled using the dynamic programming approach. For both continuous-time and discrete-time financial markets the loss in expected utility of intermediate consumption and terminal wealth caused by imposing a dynamic risk constraint is investigated. The presented numerical results indicate that the loss of portfolio performance is not too large while the risk is notably reduced. Furthermore, the loss resulting from infrequent trading due to time discretization effects is typically bigger than the loss of portfolio performance resulting from imposing a risk constraint.
The second part deals with credit risk and sets up a first-passage model of corporate default risk. The default event is specified in terms of the evolution of the total value of the firm's asset and the default barrier. Short-term default risk is incorporated by modeling the default barrier at which the firm is liquidated as a random variable which is time-dependent and allowed to switch. This setup combines the two classical modeling approaches and enables to model changes in the economy or the appointment of a new firm management. Different information levels on the firm's assets are distinguished and explicit formulas for the conditional default probability given the accessible information are derived. The impact of asymmetric information on the default probability and credit yield spread is investigated. Numerical results are presented indicating that the information on the firm value has a considerable impact on the estimate of the conditional survival probability and the associated credit yield spread.
Stochastic optimal control problems of residential heating systems with a geothermal energy storage
(2023)
In this thesis we consider a residential heating system equipped with several heat production and consumption units and investigate the stochastic optimal control problem for its cost-optimal management. As a special feature the manager has access to a geothermal storage (GS) which allows for inter-temporal transfer of heat energy by storing leftover solar thermal energy generated in summer for satisfying demand later. It is charged and discharged via heat exchanger pipes filled with a moving fluid. Further, the manager of that system faces uncertainties about the future fuel price and heat demand. The main goal is to minimize the expected aggregated cost for generating heat and running the system. This leads to a challenging mathematical optimization problem. The problem is formulated first as a non-standard continuous-time stochastic optimal control problem for a controlled state process whose dynamics is described by a system of ordinary differential equations (ODEs), stochastic differential equations and a partial differential equation (PDE). The PDE, which describes the temperature distribution in the GS, is first converted into a high-dimensional system of ODEs by semi-discretizing the space variables and its stability is investigated. This makes it possible to compute some aggregated characteristics which are useful for the operation of the GS embedded in the residential heating system. Second, the linear time-varying system of ODEs is approximated by a suitable linear time-invariant system. This allows the Lyapunov balanced truncation model order reduction method to be applied. Finally, we investigate the solution of the resulting standard optimal control problem for a controlled multi-dimensional diffusion process using dynamic programming methods and derive the corresponding Hamilton-Jacobi-Bellman (HJB) equation. However, no analytical solution of the HJB equation can be expected for the control problem under investigation. Therefore, we transform the continuous-time optimal control problem into a discrete-time control problem for a controlled Markov chain with finitely many states by discretizing both the time and the states. After determining the transition probabilities, the problem is solved using methods from the theory of Markovian decision processes. The thesis presents results of extensive numerical experiments carried out with the developed methods which reveal typical properties of the value function and the optimal strategy of the optimization problem. We end this thesis by describing some alternative methods to overcome the curse of dimensionality.
In dieser Arbeit untersuchen wir optimale Portfoliostrategien für nutzenmaximierende Investoren in einem zeitstetigen Finanzmarktmodell, bei dem die Drift durch einen Ornstein-Uhlenbeck-Prozess modelliert wird, welcher nicht direkt beobachtbar und vom Investor aus den ihm zur Verfügung stehenden Information zu schätzen ist.
Da die optimalen Handelsstrategien sehr sensibel auf die Driftparameter reagieren, benötigen Investoren möglichst genaue Driftschätzungen auf der Basis der ihnen zur Verfügung stehenden Informationen. Die Konstruktion solcher Schätzungen allein aus der Kenntnis von historischen Marktdaten liefert allerdings in der Praxis nur unbefriedigende Ergebnisse, da Drifteffekte in den Daten durch eine starke Volatilität überlagert werden. Aus diesen Gründen beziehen Investoren für die Bestimmung ihrer Anlagestrategien auch andere externe Informationsquellen ein, um die Einschätzung der unbekannten Drifts zu verbessern. Dabei handelt es sich z.B. um Wirtschaftsnachrichten, Unternehmensberichte, Ratings, Empfehlungen von Finanzanalysten oder die eigene individuelle Sicht auf die zukünftige Preisentwicklung. Solche externen Informationen werden in der Literatur Expertenmeinungen genannt.
Die Arbeit klassifiziert die Experten in drei Kategorien: Expertenmeinungen zu vorab bekannten Zeitpunkten, zu zufälligen Zeitpunkten und in stetiger Zeit. Für Vergleichszwecke betrachten wir weiterhin das Modell ohne Expertenmeinungen und ein Modell mit vollständig beobachtbarer Drift. Darauf aufbauend behandeln wir dynamische Nutzenmaximierungsprobleme für den Potenz-Nutzen. Diese überführen wir unter Verwendung von Filter- und Maßwechseltechniken in risikosensitive stochastische optimale Steuerungsprobleme. Bei den Modellen ohne Expertenmeinungen bzw. mit einem zeitstetigen Experten ist der gesteuerte Zustand ein Diffusionsprozess und es gelingt, geschlossene Lösungen für die Kontrollprobleme anzugeben. Für das Modell mit Expertenmeinungen zu bekannten Zeitpunkten erfolgt die Lösung des Optimierungsproblems durch eine Rückwärtsrekursion.
Im Modell mit Expertenmeinungen zu zufälligen Zeitpunkten ist die zugehörige DPE eine partielle Integro-Differentialgleichung (PIDE), welche im Diffusionsteil des Differentialoperators degeneriert ist. Dies verhindert die Anwendung klassischer Existenz- und Eindeutigkeitsresultate für die Lösung der PIDE und von entsprechenden Verifikationssätzen für das Kontrollproblem. Mit Hilfe einer Regularisierungstechnik definieren wir durch die Hinzufügung eines Diffusionstermes eine Familie von Kontrollproblemen und zeigen, dass die zugehörigen Wertfunktionen gegen die Wertfunktion des ursprünglichen Kontrollproblems konvergiert, wenn der Diffusionsterm gegen Null geht. Da eine analytische Lösung der PIDE nicht zu erwarten ist, kommen in der Arbeit numerische Lösungsverfahren zum Einsatz. Diese diskretisieren die PIDE mit Hilfe von Differenzenschemata und numerischen Integrationsmethoden.
Die theoretischen Resultate der Arbeit werden durch Ergebnisse umfangreicher numerischer Experimente illustriert.
In this thesis, we develop a mathematical framework to estimate the compartment sizes of an epidemic model with some unobserved compartments (i.e., a model with partial information) and formulate a social planner's stochastic optimal control problem for such an epidemic. Including asymptomatic and unreported infectious individuals in the model allows a more realistic description of the course of an epidemic and avoids misleading estimation.
In order to estimate the unobservable states, a suitable description of the dynamics of the epidemic progression by a diffusion approximation is achieved using counting processes. The estimation of the unobservable states is attributed to a stochastic filter problem. To solve this problem, we use the extended Kalman filter, which provides approximate solutions for such non-standard filter problems. This approach is applied to the state estimation of a model with incomplete information for a disease with lifelong immunity after recovery or vaccination. Simulations are carried out to demonstrate the effectiveness of this approach in practice.
The main part of this work addresses a social planner's stochastic optimal control problem for an epidemic model with a partially observed state process. It decomposes the population into susceptible, detected and non-detected infected, detected and non-detected recovered, and hospitalized individuals. Control measures include social distancing, testing, and vaccination. We apply a filtering argument to transform the partially observable stochastic optimal control problem into a completely observable control problem by replacing the hidden state process with the associated Kalman filter processes. This transformed problem with an eight-dimensional state process is treated as a Markov decision process after a time discretization. The associated Bellman equation is solved numerically using a backward recursion algorithm combined with state discretization and quantization techniques to mitigate the curse of dimensionality. In particular, two approaches are implemented. The first involves state discretization and linear interpolation of the value function between grid points, while the second utilizes state discretization and parameterization of the value function with educated ansatz functions. Extensive numerical experiments are presented to demonstrate the effectiveness of both approximate optimal controls in containing the epidemic.
Finally, we generalize the results of Picard (1991) on the efficiency of the continuous-time extended Kalman filter with small noise scaled by a parameter ε>0. First, we show that when the observation drift coefficient is strongly injective and the signal and observation drift become linear for ε → 0, the estimation error is of order √ε. Subsequently, we establish conditions under which the error in the initial filter estimate decays exponentially fast.
Stochastische optimale Steuerungsprobleme mit partieller Information für einen Energiespeicher
(2017)
In dieser Arbeit werden stochastische Optimalsteuerungsprobleme unter partieller Information
untersucht, welche im Zusammenhang mit der optimalen Bewirtschaftung eines Energiespeichers entstehen. Dabei werden sowohl der Fall eines endlichen als auch unendlichen Zeithorizontes betrachtet. Für die Beschreibung des Energiepreises wird ein Regime-Switching-Modell eingesetzt, in dem die sich ändernden ökonomischen Rahmenbedingungen durch eine nicht beobachtbare Markov-Kette beschrieben werden.
Das entstehende stochastische Optimalsteuerungsproblem unter partieller Information wird durch Anwendung von Filtertechniken in ein Problem unter voller Information überführt. Anschließend wird die dem neuen Problem zugeordnete Hamilton-Jacobi-Bellman-Gleichung
(HJB-Gleichung) aufgestellt und untersucht. Diese HJB-Gleichung ist degeneriert, da der Diffusionsteil des Differentialoperators nicht gleichmäßig elliptisch ist. Damit ist es nicht möglich, klassische Existenz- und Eindeutigkeitsresultate für die Lösung der HJB-Gleichung und entsprechende Verifikationssätze für das Optimalsteuerungsproblem anzuwenden. Deshalb wird in der Dissertation eine Regularisierungstechnik eingesetzt, welche die gleichmäßige Elliptizität des Differentialoperators herstellt. Es wird der Beweis geführt, dass die Wertfunktion für das regularisierte Kontrollproblem gegen die für das Ausgangsproblem konvergiert, wenn der bei der Regularisierung eingesetzte Störterm gegen null geht. Schließlich wird gezeigt, dass die optimalen Steuerungen für das regularisierte Problem näherungsweise optimal für das Ausgangsproblem sind. Für die optimalen Steuerungen wird eine geschlossene Darstellung in Form einer Markovschen Entscheidungsregel in Abhängigkeit von der Wertfunktion angegeben.
Für das untersuchte Steuerungsproblem ist nicht zu erwarten, eine analytische Lösung der HJB-Gleichung zu erhalten. Daher werden in der Arbeit auf Differenzenverfahren aufbauende numerische Methoden zum Lösen der HJB-Gleichung behandelt. Für das Steuerungsproblem mit endlichem Zeithorizont werden insbesondere ein Semi-Lagrangesches und ein explizit-
implizites Approximationsschema entwickelt und deren Eigenschaften untersucht. Für das Problem mit unendlichem Zeithorizont wird das Steuerungsproblem mit dem Policy-Improvement-Verfahren iterativ gelöst.
Die Arbeit präsentiert eine Vielzahl von Ergebnissen numerischer Experimente, welche mit den entwickelten Verfahren durchgeführt wurden. Diese zeigen typische Eigenschaften der Wertfunktion und der optimalen Steuerung. Der Vergleich der Ergebnisse für unterschiedliche
Regularisierungsparameter mit denen für das unregularisierte Problem bestätigt die erhaltenen theoretischen Konvergenzaussagen. Schließlich wird die Sensitivität der Wertfunktion und der optimalen Steuerung hinsichtlich der Variation der Modellparameter untersucht.
In dieser Arbeit untersuchen wir optimale Portfoliostrategien für nutzenmaximierende Investoren in einem zeitstetigen Finanzmarktmodell mit Markov-modulierter Drift. Die als Drift bezeichnete mittlere Aktienrendite wird dabei durch eine zeitstetige Markovkette modelliert, welche nicht direkt beobachtbar und vom Investor aus den ihm zur Verfügung stehenden Information zu schätzen ist. Schätzungen, die aus Beobachtungen der Aktienpreise gewonnen werden, besitzen oft nur eine unbefriedigende Genauigkeit, da Drifteffekte in den Aktienpreisen in der Regel von einer hohen Volatilität überlagert werden. Aus diesem Grunde versucht man zusätzliche Informationsquellen wie z.B. Wirtschaftsnachrichten, Unternehmensberichte, Empfehlungen von Finanzanalysten, Bewertungen von Ratingagenturen und die eigene intuitive Einschätzung der künftigen Preisentwicklung in die Schätzungen einzubeziehen. Diese als Expertenmeinungen bezeichneten Informationen werden mit den Aktienpreisbeobachtungen kombiniert, um eine verbesserte Driftschätzung und damit eine bessere Performance der darauf aufbauenden optimalen Portfoliostrategien zu erzielen. Dieser Ansatz kann als eine zeitstetige Version des aus der Literatur bekannten statischen Black-Litterman-Modells betrachtet werden. Die mathematische Modellierung der Expertenmeinungen erfolgt mit Hilfe eines markierten Punktprozesses, dessen Sprunghöhenverteilung vom Zustand der nicht beobachtbaren Markovkette abhängt. In der vorliegenden Arbeit wird insbesondere ein Nutzenmaximierungsproblem für den Power-Nutzen betrachtet. Dies führt auf ein stochastisches optimales Steuerungsproblem unter unvollständiger Information, für welches die zugehörige Dynamic Programming Equation (DPE) für die Wertfunktion hergeleitet wird. Aus deren Lösung kann die optimale Anlagestrategie abgeleitet werden. Die DPE ist eine partielle Integro-Differentialgleichung, für deren Lösung verschiedene Näherungsverfahren untersucht werden. Den Schwerpunkt bilden dabei explizite und semi-implizite Differenzenverfahren, bei welchen der Differentialoperator der DPE mit finiten Differenzen und der Integraloperator mit Quadraturformeln diskretisiert wird. Für das explizite Verfahren wird ein Konvergenzbeweis angegeben. Als weitere Näherungsverfahren kommen ein Policy-Improvement-Verfahren und die Monte- Carlo-Methode zum Einsatz. Die genannten Verfahren wurden implementiert und die Arbeit präsentiert Ergebnisse zu den durchgeführten numerischen Experimenten. Im letzten Teil der Arbeit werden schließlich Diffusionsapproximationen für hochfrequente zeitdiskrete Expertenmeinungen betrachtet. Dazu wird insbesondere der Integraloperator der DPE für gegen unendlich strebende Intensität des Eintreffens der Expertenmeinungen untersucht. Die erhaltene Asymptotik erlaubt einerseits die Approximation der zeitdiskreten Experten durch einen als zeitstetigen Experten bezeichneten Diffusionsprozess und ist andererseits die Grundlage für ein weiteres Näherungsverfahren zur Lösung des Nutzenmaximierungsproblemes.
Zufällige partielle Differentialgleichungen werden genutzt, um komplexe Systeme in Natur, Physik oder Technik realitätsnäher zu modellieren. In dieser Arbeit wird speziell das stationäre Diffusionsproblem mit zufälligem Koeffizient als lehrreiches Modellproblem betrachtet und mittels der stochastischen Galerkin-Methode unter Verwendung des verallgemeinerten polynomiellen Chaos näherungsweise gelöst. Im Gegensatz zu den üblichen Annahmen, dass der Koeffizient sich durch Konstanten von Null und Unendlich fast sicher trennen lässt oder ein lognormales Zufallsfeld darstellt, wird in der vorliegenden Arbeit für den Koeffizienten nur vorausgesetzt, dass er sich fast sicher durch reellwertige Zufallsgrößen von Null und Unendlich trennen lässt. Unter dieser Voraussetzung werden sowohl eine entsprechende Lösungstheorie für solche Randwertprobleme entwickelt als auch ein geeigneter stochastischer Galerkin-Ansatz zur näherungsweisen Lösung vorgestellt. Dieser stochastische Galerkin-Ansatz basiert auf der Verwendung von verallgemeinertem polynomiellen Chaos und entspricht einem stochastischen Petrov-Galerkin-Ansatz aufgrund der Gewichtung der Testfunktionen durch eine entsprechende reellwertige Zufallsgröße. Die Eigenschaften des verallgemeinerten polynomiellen Chaos werden genutzt, um das Konvergenzverhalten der Folge dieser stochastischen Galerkin-Lösungen in der natürlichen Norm zu untersuchen und A-priori-Fehlerabschätzungen anzugeben. Es wird außerdem gezeigt, dass der standardmäßige stochastische Galerkin-Ansatz in diesem Fall nicht notwendigerweise eine Folge von stochastischen Galerkin-Lösungen liefert, die in der natürlichen Norm gegen die exakte Lösung konvergiert.
This thesis presents a novel stochastic modeling framework for epidemic dynamics, focusing on the challenges posed by non-observable states and the gradual decline of immunity, as revealed by the Covid-19 pandemic. Our research develops an extended compartmental model that incorporates sequences of cascade states to accurately represent the progressive loss of immunity after vaccination or recovery. This model, rooted in a non-homogeneous continuous-time Markov chain and approximated by a diffusion process, facilitates efficient computation. The resulting dynamics exhibit non-linearities in both the drift and diffusion coefficients, making the process of hidden state estimation particularly challenging. These complexities highlight the need for advanced techniques to accurately capture and predict the system's behavior under partial observability. A novel approach using cascade states is introduced to tackle the issue of partially hidden compartments where either inflow or outflow is observed, but not both. By leveraging information from observed transitions, this method significantly enhances model accuracy. The framework also enables the application of advanced filtering techniques, particularly the Extended Kalman Filter (EKF), for estimating both hidden epidemic states and time-varying parameters. This allows for calibrating based on real data, ensuring robust and accurate predictions. Furthermore, this thesis extends the methodology to multi-group (multi-patch) models, capturing the complexities of heterogeneous population dynamics. This includes factors such as mobility, super-spreader events, and accounting for partial information. By incorporating these elements, the model provides a more comprehensive understanding of epidemic spread across diverse and interconnected populations. To address the curse of dimensionality often encountered in high-dimensional filtering problems, a modified EKF based on a reduced-order EKF is introduced, leveraging a low-rank approximation of the covariance matrix. This reduced-order EKF allows for stable and efficient estimation of hidden states even with limited computational resources. Finally, the work explores parameter estimation within the partial information context, employing both likelihood-based inference and state augmentation techniques. Numerical experiments demonstrate the model's ability to accurately reproduce observed Covid-19 dynamics in Germany, highlighting its potential for informing public health strategies and managing future outbreaks. This work offers a robust and adaptable framework for understanding and predicting the spread of infectious diseases.
In this dissertation, we consider occupational pension funds that are set up by a company for its employees. A special feature of such pension funds is that the collectives of insured individuals are typically smaller, and benefit payments depend on the seniority and salary of the insured. Therefore, fluctuations over time in the composition of the collective of insured persons in terms of age, length of service, and salary cannot be ignored when calculating the actuarial liabilities and the company's financial contributions to the fund.
We describe the stochastic dynamics of the composition of the collective of insured individuals by a discrete-time Markov chain model. This allows us to derive the dynamics of the expected aggregated actuarial liabilities for all insured individuals of the collective as a functional of the Markov chain. They are then approximated by mean-reverting processes, which facilitate the formulation of stochastic optimal control problems that arise in the cost-optimal management of occupational pension funds. Here, the objective is to invest the fund's capital in a financial market such that the expected net present value of all future contributions to the fund is minimized.
The resulting optimal funding problem is studied under additional constraints that capture the obligations imposed by a regulator. They are intended to ensure that the fund capital is always sufficient to finance current benefit payments and future actuarial obligations.
This problem is analyzed firstly under additional dynamic risk constraints and secondly under tracking constraints, which are included in the performance criterion with the help of penalties. While the risk constraints aim to keep the fund assets above the actuarial liabilities, the tracking constraints aim to keep these assets as close as possible to the liabilities.
The resulting discrete-time stochastic optimal control problems are treated as Markov decision processes (MDPs). The corresponding Bellman equation for the value function is solved numerically using a backward recursion algorithm. We present the results of extensive numerical experiments showing the properties of the value function and the optimal decision rules, as well as their dependence on the various risk constraints.
