TY - JOUR A1 - Schneidereit, Toni A1 - Breuß, Michael T1 - Adaptive neural-domain refinement for solving time-dependent differential equations T1 - Adaptive neuronale Verfeinerung zur Lösung von zeitabhängigen Differentialgleichungen N2 - A classic approach for solving differential equations with neural networks builds upon neural forms, which employ the differential equation with a discretisation of the solution domain. Making use of neural forms for time-dependent differential equations, one can apply the recently developed method of domain segmentation. That is, the domain may be split into several subdomains, on which the optimisation problem is solved. In classic adaptive numerical methods, the mesh as well as the domain may be refined or decomposed, in order to improve the accuracy. Also, the degree of approximation accuracy may be adapted. Therefore, it is desirable to transfer such important and successful strategies to the field of neural-network-based solutions. In the presented work, we propose a novel adaptive neural approach to meet this aim for solving time-dependent problems. To this end, each subdomain is reduced in size until the optimisation is resolved up to a predefined training accuracy. In addition, while the neural networks employed are by default small, we propose a means to adjust also the number of neurons in an adaptive way. We introduce conditions to automatically confirm the solution reliability and optimise computational parameters whenever it is necessary. Results are provided for several initial-value problems that illustrate important computational properties of the method. N2 - Ein klassischer Ansatz zur Lösung von Differentialgleichungen mit neuronalen Netzen beruht auf neuronalen Formen, welche die Differentialgleichung mit einer Diskretisierung des Lösungsbereichs verwenden. Der Ansatz der neuronalen Formen für zeitabhängige Differentialgleichungen kann durch die kürzlich entwickelte Methode der Domänensegmentierung erweitert werden. Das Gebiet wird dadurch in mehrere Teilgebiete aufgeteilt, auf denen das Optimierungsproblem gelöst wird. Bei klassischen adaptiven numerischen Verfahren können sowohl das Netz als auch das Gebiet verfeinert oder zerlegt werden, um die Genauigkeit zu verbessern. Auch der Grad der Approximation kann angepasst werden. Daher ist es wünschenswert, solche Strategien auf den Bereich der auf neuronalen Netzen basierenden Lösungen zu übertragen. In der vorliegenden Arbeit schlagen wir einen neuartigen adaptiven neuronalen Ansatz vor, um dieses Ziel für die Lösung zeitabhängiger Probleme zu erreichen. Zu diesem Zweck wird jedes Teilgebiet so lange verkleinert, bis die Optimierung bis zu einer vordefinierten Trainingsgenauigkeit gelöst ist. Während die verwendeten neuronalen Netze standardmäßig klein sind, schlagen wir darüber hinaus eine Möglichkeit vor, auch die Anzahl der Neuronen auf adaptive Weise anzupassen. Wir führen Bedingungen ein, um die Zuverlässigkeit der Lösung automatisch zu bestätigen und die Berechnungsparameter zu optimieren, wenn dies erforderlich ist. Es werden Ergebnisse für mehrere Anfangswertprobleme vorgelegt, die wichtige rechnerische Eigenschaften der Methode veranschaulichen. KW - Neural forms KW - Differential equations KW - Physics-informed neural networks KW - Adaptive neural refinement KW - Domain decomposition KW - Neuronale Formen KW - Differentialgleichungen KW - Physikalisch informierte neuronale Netze KW - Adaptive neuronale Verfeinerung KW - Gebietszerlegung KW - Differentialgleichung KW - Neuronales Netz Y1 - 2023 U6 - https://doi.org/10.1186/s13662-023-03789-x ER - TY - THES A1 - Schneidereit, Toni T1 - The solution of time-dependent ordinary differential equations using neural networks : collocation polynomial neural forms and adaptive neural domain refinement T1 - Die Lösung von zeitabhängigen gewöhnlichen Differentialgleichungen mit Neuronalen Netzen : Neuronale Kollokationspolynome und adaptive Neuronale Gebietsverfeinerung N2 - Solving differential equations is still a topic of major interest, due to their appearance in many fields of science and engineering and a classic approach with neural networks builds upon trial solutions, the so-called neural forms. The latter are incorporated in a cost function that is subject to minimisation, to train the involved neural networks. Neural forms represent general and flexible tools for solving ordinary differential equations, partial differential equations as well as systems of each. However, the computational approach is in general highly dependent on a variety of computational parameters and the choice of the optimisation methods. Studying the solution of a simple but fundamental stiff ordinary differential equations with small feedforward neural networks and first order optimisation shows, that it is possible to identify preferable choices for parameters and methods. The neural network weight initialisation appears to be a sensitive topic, while having a major impact on the solution accuracy. Especially the use of non-random (deterministic) weights partially shows poor performance, but removes a stochastic component. Further research reveals, that a new polynomial representation of the neural forms can significantly increase the reliability of a deterministic initialisation (all weights have initially the same values assigned). In order to maintain smaller neural network architectures and solve the differential equation, even on fairly large domains, a new technique called domain segmentation (for initial value problems) is introduced. The solution domain splits into equidistant subdomains and the above-mentioned collocation polynomial neural forms are solved separately in each domain fragment. At the boundary of any subdomain, a new initial value is provided by the neural forms solution and directly incorporated in the adjacent one. In classic adaptive numerical methods for solving differential equations, the mesh as well as the domain may be refined or decomposed, respectively, in order to improve numerical accuracy. The subdomain distribution can also be connected with an adaptive refinement. That is, the neural network training status is combined with an adaptive subdomain size reduction in the new adaptive neural domain refinement algorithm. That is, each subdomain is reduced in size until the optimisation is resolved up to a predefined training accuracy. In addition, while the neural networks are by default small, the number of neurons may also be adjusted in an adaptive way. Conditions are introduced to automatically confirm the solution reliability and optimise computational parameters whenever it is necessary. N2 - Die Lösung von Differentialgleichungen ist auch heutzutage ein wichtiges Thema, da diese in vielen Bereichen der Wissenschaft auftauchen und zum Beispiel bei der mathematischen Modellierung physikalischer Systeme Anwendung finden. Ein klassischer Ansatz aus dem Bereich der Neuronalen Netze setzt auf sogenannte „trial solutions“ oder „neural forms“. Diese werden in eine Kostenfunktion eingebunden, welche zum Zweck des Trainings der Neuronalen Netze minimiert werden soll. Generell bilden die neural forms flexible Werkzeuge zur Lösung von gewöhnlichen, partiellen und auch Systemen von Differentialgleichungen. Dennoch sind diese rechnergestützten Ansätze stark abhängig von einer Vielzahl an Parametern. Eine rechenbasierte Studie zur Lösung eines einfachen, steifen Anfangswertproblems mit einfachen, sogenannten „feedforward neural networks“ und Optimierung erster Ordnung zeigt, dass die sorgfältige Auswahl durchaus vorteilhafte Parameterkombinationen ergeben kann. Die Initialisierung der Anfangsgewichte der Neuronalen Netze ist ein sensibles Thema. Während konstant (nicht zufällig) gewählte Gewichte einen stochastischen Effekt eliminieren, so liefern sie stellenweise keine verlässlichen Approximationen. Weiterführend ist es jedoch möglich, mit einer Polynomdarstellung der neural forms, die Aussagekraft der Lösungen mit konstanten Gewichten deutlich zu verbessern. Die oben genannte rechenbasierte Studie zeigt zudem auf, dass zu groß gewählte Lösungsgebiete zu keinen verlässlichen Ergebnissen führen können. Eine Charakteristik der neural forms bezieht sich auf die Einbindung gegebener Anfangswerte in die neural forms selbst oder direkt in die Kostenfunktion. Um die Architekturen der Neuronalen Netze weiterhin klein zu halten und die Differentialgleichungen trotzdem auch auf größeren Gebieten lösen zu können, wird die Methode der „domain segmentation“ eingeführt. Diese teilt das gesamte Gebiet in kleinere Untergebiete auf und löst die „collocation polynomial neural forms“ einzeln in jedem der gleichverteilten Untergebiete. Die Lösung in einem dieser Untergebiete liefert dann den neuen Anfangswert für das benachbarte Untergebiet. Der domain segmentation Ansatz kann mit einer zusätzlichen adaptiven Verfeinerung kombiniert werden, in welchem die Kostenfunktion ausgewertet und als Status des Trainings der Neuronalen Netze definiert wird. Zusammen mit einem adaptiven Algorithmus für eine mögliche Verkleinerung der oben genannten Untergebiete ist der „adaptive neural domain refinement“ Ansatz entstanden. Jedes Untergebiet kann in seiner Größe verringer werden, bis die Minimierung der Kostenfunktion bis zu einer vordefinierten Genauigkeit erreicht ist. Eine Komponente zur automatischen Bestätigung des Ergebnisses ist in den Algorithmus aufgenommen worden. Zusätzlich zu den normalerweise kleinen Neuronalen Netzwerken wird eine automatische Anpassung der Parameter ermöglich, sollten einzelne Untergebiete in ihrer Größe zu klein werden. KW - Neural forms KW - Differential equations KW - Collocation polynomial neural forms KW - Domain segmentation KW - Adaptive neural domain refinement KW - Neuronale Formen KW - Differentialgleichungen KW - Neuronale Kollokationspolynome KW - Adaptive Neuronale Gebietsverfeinerung KW - Differentialgleichung KW - Kollokation KW - Numerisches Verfahren KW - Polynom KW - Differential equations KW - Collocation methods Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus4-63896 ER -