## Stochastic optimal control problems of residential heating systems with a geothermal energy storage

### Stochastische Optimalsteuerungsprobleme für Gebäudeheizungssysteme mit Erdwärmespeicher

• In this thesis we consider a residential heating system equipped with several heat production and consumption units and investigate the stochastic optimal control problem for its cost-optimal management. As a special feature the manager has access to a geothermal storage (GS) which allows for inter-temporal transfer of heat energy by storing leftover solar thermal energy generated in summer for satisfying demand later. It is charged and discharged via heat exchanger pipes filled with a moving fluid. Further, the manager of that system faces uncertainties about the future fuel price and heat demand. The main goal is to minimize the expected aggregated cost for generating heat and running the system. This leads to a challenging mathematical optimization problem. The problem is formulated first as a non-standard continuous-time stochastic optimal control problem for a controlled state process whose dynamics is described by a system of ordinary differential equations (ODEs), stochastic differential equations and a partial differentialIn this thesis we consider a residential heating system equipped with several heat production and consumption units and investigate the stochastic optimal control problem for its cost-optimal management. As a special feature the manager has access to a geothermal storage (GS) which allows for inter-temporal transfer of heat energy by storing leftover solar thermal energy generated in summer for satisfying demand later. It is charged and discharged via heat exchanger pipes filled with a moving fluid. Further, the manager of that system faces uncertainties about the future fuel price and heat demand. The main goal is to minimize the expected aggregated cost for generating heat and running the system. This leads to a challenging mathematical optimization problem. The problem is formulated first as a non-standard continuous-time stochastic optimal control problem for a controlled state process whose dynamics is described by a system of ordinary differential equations (ODEs), stochastic differential equations and a partial differential equation (PDE). The PDE, which describes the temperature distribution in the GS, is first converted into a high-dimensional system of ODEs by semi-discretizing the space variables and its stability is investigated. This makes it possible to compute some aggregated characteristics which are useful for the operation of the GS embedded in the residential heating system. Second, the linear time-varying system of ODEs is approximated by a suitable linear time-invariant system. This allows the Lyapunov balanced truncation model order reduction method to be applied. Finally, we investigate the solution of the resulting standard optimal control problem for a controlled multi-dimensional diffusion process using dynamic programming methods and derive the corresponding Hamilton-Jacobi-Bellman (HJB) equation. However, no analytical solution of the HJB equation can be expected for the control problem under investigation. Therefore, we transform the continuous-time optimal control problem into a discrete-time control problem for a controlled Markov chain with finitely many states by discretizing both the time and the states. After determining the transition probabilities, the problem is solved using methods from the theory of Markovian decision processes. The thesis presents results of extensive numerical experiments carried out with the developed methods which reveal typical properties of the value function and the optimal strategy of the optimization problem. We end this thesis by describing some alternative methods to overcome the curse of dimensionality.
• In dieser Arbeit betrachten wir ein mit mehreren Wärmeerzeugungs- und –verbrauchseinheiten ausgestattetes Gebäudeheizungssystem und untersuchen ein stochastisches Optimalsteuerungsproblem für dessen kostenoptimale Bewirtschaftung. Als Besonderheit steht dem Manager des Heizungssystems ein Erdwärmespeicher (GS) zur Verfügung, der eine zeitliche Übertragung von Wärmeenergie ermöglicht, indem die Überproduktion von Solarwärme z.B. im Sommer für die spätere Deckung des Wärmebedarfs gespeichert wird. Die Be- und Entladung erfolgt über Wärmetauscherrohre, in denen eine Flüssigkeit zirkuliert. Der Manager dieses Systems muss seine Entscheidungen unter Unsicherheiten über die Brennstoffpreise und den zu deckenden Wärmebedarf in der Zukunft treffen. Das Hauptziel ist es, die zu erwartenden Gesamtkosten für die Wärmeerzeugung und den Betrieb des Systems zu minimieren. Dies führt zu einem anspruchsvollen mathematischen Optimierungsproblem. Das problem wird zunächst als ein zeitstetiges stochastisches Optimalsteuerungsproblem in NichtstandardformIn dieser Arbeit betrachten wir ein mit mehreren Wärmeerzeugungs- und –verbrauchseinheiten ausgestattetes Gebäudeheizungssystem und untersuchen ein stochastisches Optimalsteuerungsproblem für dessen kostenoptimale Bewirtschaftung. Als Besonderheit steht dem Manager des Heizungssystems ein Erdwärmespeicher (GS) zur Verfügung, der eine zeitliche Übertragung von Wärmeenergie ermöglicht, indem die Überproduktion von Solarwärme z.B. im Sommer für die spätere Deckung des Wärmebedarfs gespeichert wird. Die Be- und Entladung erfolgt über Wärmetauscherrohre, in denen eine Flüssigkeit zirkuliert. Der Manager dieses Systems muss seine Entscheidungen unter Unsicherheiten über die Brennstoffpreise und den zu deckenden Wärmebedarf in der Zukunft treffen. Das Hauptziel ist es, die zu erwartenden Gesamtkosten für die Wärmeerzeugung und den Betrieb des Systems zu minimieren. Dies führt zu einem anspruchsvollen mathematischen Optimierungsproblem. Das problem wird zunächst als ein zeitstetiges stochastisches Optimalsteuerungsproblem in Nichtstandardform formuliert, bei dem die Dynamik des gesteuerten Zustandsprozesses durch ein System gewöhnlicher Differentialgleichungen (ODEs), stochastischer Differentialgleichungen und einer partiellen Differentialgleichung (PDE) gegeben ist. Die PDE, welche die Temperaturverteilung im GS beschreibt, durch Semidiskretisierung der Raumvariablen in ein hochdimensionales System von ODEs überführt und es wird dessen Stabilität gezeigt. Damit gelingt es, wichtige Kenngrößen für den Betrieb des Erdwärmespeichers innerhalb eines Heizungssystems zu berechnen. Dabei wird zunächst das lineare zeitvariable System von ODEs durch ein geeignetes lineares zeitinvariantes System approximiert. Dies erlaubt es dann die Lyapunov-Balanced-Truncation-Methode für die Modellreduktion einzusetzen. Schließlich untersuchen wir die Lösung des resultierenden Standard-Optimalsteuerungsproblems für einen gesteuerten mehrdimensionalen Diffusionsprozess unter Verwendung von Methoden des Dynamic Programming und leiten die zugehörige Hamilton-Jacobi-Bellman-Gleichung (HJB) her. Für das untersuchte Steuerungsproblem kann jedoch keine analytische Lösung der HJB-Gleichung erwartet werden. Daher überführen wir das zeitstetige Optimalsteuerungsproblem durch Diskretisierung sowohl der Zeit als auch der Zustände in ein zeitdiskretes Kontrollproblem für eine gesteuerte Markovkette mit endlich vielen Zuständen. Nach der Bestimmung der Übergangswahrscheinlichkeiten wird das Problem mit Methoden der Theorie der Markovschen Entscheidungsprozesse gelöst. Die Arbeit präsentiert Ergebnisse umfangreicher numerischer Experimente, die mit den entwickelten Methoden durchgeführt wurden und typische Eigenschaften der Wertfunktion und der optimalen Steuerung des Optimalsteuerungsproblems sichtbar machen. Die Arbeit schließt mit der Beschreibung einiger alternativer Methoden zur Lösung der Kontrollprobleme, mit denen der Fluch der Dimension überwunden werden kann.