• search hit 2 of 2
Back to Result List

The solution of time-dependent ordinary differential equations using neural networks : collocation polynomial neural forms and adaptive neural domain refinement

Die Lösung von zeitabhängigen gewöhnlichen Differentialgleichungen mit Neuronalen Netzen : Neuronale Kollokationspolynome und adaptive Neuronale Gebietsverfeinerung

  • Solving differential equations is still a topic of major interest, due to their appearance in many fields of science and engineering and a classic approach with neural networks builds upon trial solutions, the so-called neural forms. The latter are incorporated in a cost function that is subject to minimisation, to train the involved neural networks. Neural forms represent general and flexible tools for solving ordinary differential equations, partial differential equations as well as systems of each. However, the computational approach is in general highly dependent on a variety of computational parameters and the choice of the optimisation methods. Studying the solution of a simple but fundamental stiff ordinary differential equations with small feedforward neural networks and first order optimisation shows, that it is possible to identify preferable choices for parameters and methods. The neural network weight initialisation appears to be a sensitive topic, while having a major impact on the solution accuracy. Especially the useSolving differential equations is still a topic of major interest, due to their appearance in many fields of science and engineering and a classic approach with neural networks builds upon trial solutions, the so-called neural forms. The latter are incorporated in a cost function that is subject to minimisation, to train the involved neural networks. Neural forms represent general and flexible tools for solving ordinary differential equations, partial differential equations as well as systems of each. However, the computational approach is in general highly dependent on a variety of computational parameters and the choice of the optimisation methods. Studying the solution of a simple but fundamental stiff ordinary differential equations with small feedforward neural networks and first order optimisation shows, that it is possible to identify preferable choices for parameters and methods. The neural network weight initialisation appears to be a sensitive topic, while having a major impact on the solution accuracy. Especially the use of non-random (deterministic) weights partially shows poor performance, but removes a stochastic component. Further research reveals, that a new polynomial representation of the neural forms can significantly increase the reliability of a deterministic initialisation (all weights have initially the same values assigned). In order to maintain smaller neural network architectures and solve the differential equation, even on fairly large domains, a new technique called domain segmentation (for initial value problems) is introduced. The solution domain splits into equidistant subdomains and the above-mentioned collocation polynomial neural forms are solved separately in each domain fragment. At the boundary of any subdomain, a new initial value is provided by the neural forms solution and directly incorporated in the adjacent one. In classic adaptive numerical methods for solving differential equations, the mesh as well as the domain may be refined or decomposed, respectively, in order to improve numerical accuracy. The subdomain distribution can also be connected with an adaptive refinement. That is, the neural network training status is combined with an adaptive subdomain size reduction in the new adaptive neural domain refinement algorithm. That is, each subdomain is reduced in size until the optimisation is resolved up to a predefined training accuracy. In addition, while the neural networks are by default small, the number of neurons may also be adjusted in an adaptive way. Conditions are introduced to automatically confirm the solution reliability and optimise computational parameters whenever it is necessary.show moreshow less
  • Die Lösung von Differentialgleichungen ist auch heutzutage ein wichtiges Thema, da diese in vielen Bereichen der Wissenschaft auftauchen und zum Beispiel bei der mathematischen Modellierung physikalischer Systeme Anwendung finden. Ein klassischer Ansatz aus dem Bereich der Neuronalen Netze setzt auf sogenannte „trial solutions“ oder „neural forms“. Diese werden in eine Kostenfunktion eingebunden, welche zum Zweck des Trainings der Neuronalen Netze minimiert werden soll. Generell bilden die neural forms flexible Werkzeuge zur Lösung von gewöhnlichen, partiellen und auch Systemen von Differentialgleichungen. Dennoch sind diese rechnergestützten Ansätze stark abhängig von einer Vielzahl an Parametern. Eine rechenbasierte Studie zur Lösung eines einfachen, steifen Anfangswertproblems mit einfachen, sogenannten „feedforward neural networks“ und Optimierung erster Ordnung zeigt, dass die sorgfältige Auswahl durchaus vorteilhafte Parameterkombinationen ergeben kann. Die Initialisierung der Anfangsgewichte der Neuronalen Netze ist einDie Lösung von Differentialgleichungen ist auch heutzutage ein wichtiges Thema, da diese in vielen Bereichen der Wissenschaft auftauchen und zum Beispiel bei der mathematischen Modellierung physikalischer Systeme Anwendung finden. Ein klassischer Ansatz aus dem Bereich der Neuronalen Netze setzt auf sogenannte „trial solutions“ oder „neural forms“. Diese werden in eine Kostenfunktion eingebunden, welche zum Zweck des Trainings der Neuronalen Netze minimiert werden soll. Generell bilden die neural forms flexible Werkzeuge zur Lösung von gewöhnlichen, partiellen und auch Systemen von Differentialgleichungen. Dennoch sind diese rechnergestützten Ansätze stark abhängig von einer Vielzahl an Parametern. Eine rechenbasierte Studie zur Lösung eines einfachen, steifen Anfangswertproblems mit einfachen, sogenannten „feedforward neural networks“ und Optimierung erster Ordnung zeigt, dass die sorgfältige Auswahl durchaus vorteilhafte Parameterkombinationen ergeben kann. Die Initialisierung der Anfangsgewichte der Neuronalen Netze ist ein sensibles Thema. Während konstant (nicht zufällig) gewählte Gewichte einen stochastischen Effekt eliminieren, so liefern sie stellenweise keine verlässlichen Approximationen. Weiterführend ist es jedoch möglich, mit einer Polynomdarstellung der neural forms, die Aussagekraft der Lösungen mit konstanten Gewichten deutlich zu verbessern. Die oben genannte rechenbasierte Studie zeigt zudem auf, dass zu groß gewählte Lösungsgebiete zu keinen verlässlichen Ergebnissen führen können. Eine Charakteristik der neural forms bezieht sich auf die Einbindung gegebener Anfangswerte in die neural forms selbst oder direkt in die Kostenfunktion. Um die Architekturen der Neuronalen Netze weiterhin klein zu halten und die Differentialgleichungen trotzdem auch auf größeren Gebieten lösen zu können, wird die Methode der „domain segmentation“ eingeführt. Diese teilt das gesamte Gebiet in kleinere Untergebiete auf und löst die „collocation polynomial neural forms“ einzeln in jedem der gleichverteilten Untergebiete. Die Lösung in einem dieser Untergebiete liefert dann den neuen Anfangswert für das benachbarte Untergebiet. Der domain segmentation Ansatz kann mit einer zusätzlichen adaptiven Verfeinerung kombiniert werden, in welchem die Kostenfunktion ausgewertet und als Status des Trainings der Neuronalen Netze definiert wird. Zusammen mit einem adaptiven Algorithmus für eine mögliche Verkleinerung der oben genannten Untergebiete ist der „adaptive neural domain refinement“ Ansatz entstanden. Jedes Untergebiet kann in seiner Größe verringer werden, bis die Minimierung der Kostenfunktion bis zu einer vordefinierten Genauigkeit erreicht ist. Eine Komponente zur automatischen Bestätigung des Ergebnisses ist in den Algorithmus aufgenommen worden. Zusätzlich zu den normalerweise kleinen Neuronalen Netzwerken wird eine automatische Anpassung der Parameter ermöglich, sollten einzelne Untergebiete in ihrer Größe zu klein werden.show moreshow less

Download full text files

Export metadata

Additional Services

Search Google Scholar Stastistics
Metadaten
Author: Toni SchneidereitORCiD
URN:urn:nbn:de:kobv:co1-opus4-63896
DOI:https://doi.org/10.26127/BTUOpen-6389
Referee / Advisor:Prof. Dr. rer. nat. habil. Michael Breuß, Prof. Dr. rer. nat. Carsten Hartmann, Prof. Em. Dr. Isaac Lagaris
Document Type:Doctoral thesis
Language:English
Year of Completion:2022
Date of final exam:2022/12/16
Release Date:2023/05/25
Tag:Adaptive Neuronale Gebietsverfeinerung; Differentialgleichungen; Neuronale Formen; Neuronale Kollokationspolynome
Adaptive neural domain refinement; Collocation polynomial neural forms; Differential equations; Domain segmentation; Neural forms
GND Keyword:Differentialgleichung; Kollokation; Numerisches Verfahren; Polynom; Differential equations; Collocation methods
Institutes:Fakultät 1 MINT - Mathematik, Informatik, Physik, Elektro- und Informationstechnik / FG Angewandte Mathematik
Licence (German):Keine Lizenz vergeben. Es gilt das deutsche Urheberrecht.
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.