Time series scenario composition framework in Hydroinformatics Systems

Ein Software-Framework für die Erstellung von Zeitreihenszenarien in Hydroinformatik-Systemen

  • Since Z3, the first automatic, programmable and operational computer, emerged in 1941, computers have become an unshakable tool in varieties of engineering researches, studies and applications. In the field of hydroinformatics, there exist a number of tools focusing on data collection and management, data analysis, numerical simulations, model coupling, post-processing, etc. in different time and space scales. However, one crucial process is still missing — filling the gap between available mass raw data and simulation tools. In this research work, a general software framework for time series scenario composition is proposed to improve this issue. The design of this framework is aimed at facilitating simulation tasks by providing input data sets, e.g. Boundary Conditions (BCs), generated for user-specified what-if scenarios. These scenarios are based on the available raw data of different sources, such as field and laboratory measurements and simulation results. In addition, the framework also monitors the workflow by keeping trackSince Z3, the first automatic, programmable and operational computer, emerged in 1941, computers have become an unshakable tool in varieties of engineering researches, studies and applications. In the field of hydroinformatics, there exist a number of tools focusing on data collection and management, data analysis, numerical simulations, model coupling, post-processing, etc. in different time and space scales. However, one crucial process is still missing — filling the gap between available mass raw data and simulation tools. In this research work, a general software framework for time series scenario composition is proposed to improve this issue. The design of this framework is aimed at facilitating simulation tasks by providing input data sets, e.g. Boundary Conditions (BCs), generated for user-specified what-if scenarios. These scenarios are based on the available raw data of different sources, such as field and laboratory measurements and simulation results. In addition, the framework also monitors the workflow by keeping track of the related metadata to ensure its traceability. This framework is data-driven and semi-automatic. It contains four basic modules: data pre-processing, event identification, process identification, and scenario composition. These modules mainly involve Time Series Knowledge Mining (TSKM), fuzzy logic and Multivariate Adaptive Regression Splines (MARS) to extract features from the collected data and interconnect themselves. The extracted features together with other statistical information form the most fundamental elements, MetaEvents, for scenario composition and further time series generation. The MetaEvents are extracted through semi-automatic steps forming Aspects, Primitive Patterns, Successions, and Events from a set of time series raw data. Furthermore, different state variables are interconnected by the physical relationships derived from process identification. These MetaEvents represent the complementary features and consider identified physical relationships among different state variables from the available time series data of different sources rather than the isolated ones. The composed scenarios can be further converted into a set of time series data as, for example, BCs, to facilitate numerical simulations. A software prototype of this framework was designed and implemented on top of the Java and R software technologies. The prototype together with four prototype application examples containing mathematical function-generated data, artificial model-synthetic hydrological data, and measured hydrological and hydrodynamic data, are used to demonstrate the concept. The results from the application examples present the capability of reproducing similar time series patterns from specific scenarios compared to the original ones as well as the capability of generating artificial time series data from composed scenarios based on the interest of users, such as numerical modelers. In this respect, it demonstrates the concept’s capability of answering the impacts from what-if scenarios together with simulation tools. The semi-automatic concept of the prototype also prevents from inappropriate black-box applications and allows the consideration of the knowledge and experiences of domain experts. Overall, the framework is a valuable and progressive step towards holistic hydroinformatics systems in reducing the gap between raw data and simulation tools in an engineering suitable manner.show moreshow less
  • Seit der erste automatische, programmierbare und betriebsfähige Computer, Z3, im Jahr 1941 entwickelt wurde, sind Computer ein unverzichtbares Werkzeug für die vielfältigen Aufgaben in der ingenieurwissenschaftlichen Forschung und Praxis geworden. Auf dem Gebiet der Hydroinformatik gibt es eine Reihe von Werkzeugen, die den Fokus u. a. auf Datenerfassung und -management, Datenanalyse, numerische Simulationen, Modellkoppelung sowie Ergebnisauswertung in unterschiedlichen Raum- und Zeitskalen legen. Ein wesentlicher Arbeitsschritt wird jedoch nur unzureichend unterstützt: die Aufbereitung von Rohdaten zur Spezifikation von Szenarien als Eingabegrößen für Simulationswerkzeuge. In dieser Forschungsarbeit wird ein generelles Konzept für die ingenieurgerechte Erstellung von Zeitreihen zur Szenarienspezifikation vorgeschlagen. Das Ziel des Konzepts ist die Bereitstellung von Zeitreihen als Eingangsdatensätze, z. B. Randbedingungen, für Simulationsaufgaben zur Analyse von benutzerspezifizierten Was-Wäre-Wenn-Szenarien. Die Szenarien werdenSeit der erste automatische, programmierbare und betriebsfähige Computer, Z3, im Jahr 1941 entwickelt wurde, sind Computer ein unverzichtbares Werkzeug für die vielfältigen Aufgaben in der ingenieurwissenschaftlichen Forschung und Praxis geworden. Auf dem Gebiet der Hydroinformatik gibt es eine Reihe von Werkzeugen, die den Fokus u. a. auf Datenerfassung und -management, Datenanalyse, numerische Simulationen, Modellkoppelung sowie Ergebnisauswertung in unterschiedlichen Raum- und Zeitskalen legen. Ein wesentlicher Arbeitsschritt wird jedoch nur unzureichend unterstützt: die Aufbereitung von Rohdaten zur Spezifikation von Szenarien als Eingabegrößen für Simulationswerkzeuge. In dieser Forschungsarbeit wird ein generelles Konzept für die ingenieurgerechte Erstellung von Zeitreihen zur Szenarienspezifikation vorgeschlagen. Das Ziel des Konzepts ist die Bereitstellung von Zeitreihen als Eingangsdatensätze, z. B. Randbedingungen, für Simulationsaufgaben zur Analyse von benutzerspezifizierten Was-Wäre-Wenn-Szenarien. Die Szenarien werden aus verfügbaren Rohdaten unterschiedlicher Quellen, z. B. Feld- und Labormessungen und Simulationsergebnissen, erstellt. Das Konzept protokolliert zudem den Arbeitsablauf durch zugehörige Metadaten, um die Nachvollziehbarkeit der Arbeitsschritte sicherzustellen. Das Konzept ist datengesteuert und halbautomatisch. Es enthält vier wesentliche Module: Datenvorbereitung, Eventidentifizierung, Prozessidentifizierung und Szenariokomposition. Diese Module verwenden als theoretische Grundlagen vor allem Time Series Knowledge Mining (TSKM), Fuzzylogik und Multivariate Adaptive Regression Splines (MARS), um Merkmale verschiedener Zustandsgrößen aus den gesammelten Daten zu extrahieren und miteinander zu verbinden. Die gesammelten Merkmale samt anderen statistischen Daten gestalten die grundsätzlichsten Komponenten, sog. MetaEvents, für die Szenariokomposition und die weitere Generierung der resultierenden Zeitreihen für die Simulation der Szenarien. Die MetaEvents werden halbautomatisch mit Hilfe von Aspects, Primitive Patterns, Successions und Events gebildet. Zusätzlich werden durch Prozessidentifizierung funktionale Beziehungen zwischen den verschiedenen Zustandsvariablen abgeleitet. Die MetaEvents stellen komplementäre Merkmale dar und berücksichtigen die identifizierten physikalischen Beziehungen zwischen den verschiedenen Zustandsvariablen aus den verfügbaren Zeitreihendaten anstatt der traditionellen getrennten Verarbeitung. Die mit den MetaEvents zusammengestellten/komponierten Szenarien ermöglichen die Generierung von resultierenden Zeitreihen von Randbedingungen für numerische Simulationen. Ein Software-Prototyp dieses Konzepts wurde auf Basis von Java- und R-Software-Technologien entworfen und implementiert. Der Prototyp zusammen mit vier Prototyp-Anwendungsbeispielen – ein mathematisch-analytischer Datensatz, ein künstlicher hydrologischer Datensatz, ein real gemessener hydrologischer Datensatz und ein hydrodynamischer Datensatz – werden benutzt, um die Funktionsfähigkeit des Prototyps und die Eigenschaften des Konzepts zu demonstrieren und nachzuweisen. Die Anwendungsbeispiele weisen nach, das Zeitreihenmuster aus spezifischen Originalszenarien reproduziert werden können und zeigen die Fähigkeit auf, für den Anwender, z. B. numerische Modellierer, Zeitreihen für relevante, interessante Szenarien zu generieren. In dieser Hinsicht demonstriert es die Fähigkeit, die Auswirkungen von Was-Wäre-Wenn-Szenarien mit Simulationswerkzeugen effizient vorzubereiten. Das halbautomatische Konzept des Prototyps verhindert auch eine Black-Box Anwendung und berücksichtigt Kenntnisse und Erfahrungen der Anwender als Fachexperten. Damit stellt das Konzept einen wertvollen, innovativen Schritt zu ganzheitlichen Hydroinformationssystemen dar, um eine ingenieurgerechte, effiziente Datenaufbereitung von Zeitreihen aus Rohdaten als Eingabedatensätze für Simulationswerkzeuge bereitzustellen.show moreshow less

Download full text files

Export metadata

Metadaten
Author: Li, Chi-Yu
URN:urn:nbn:de:kobv:co1-opus4-33650
Referee / Advisor:apl. Prof. Dr.-Ing. Molkenthin, Frank
Document Type:Doctoral Thesis
Language:English
Year of Completion:2015
Date of final exam:2014/12/04
Release Date:2015/02/26
Tag:Ereigniserkennung; Hydroinformatik; Szenariokomposition; TSKM; Zeitreihenanalyse
Event identification; Hydroinformatics; Scenario composition; TSKM; Time series analysis
GND Keyword:Algorithmus; Datenbank; Hydrologie; Zeitreihe
Institutes:Fakultät 2 Umwelt und Naturwissenschaften / FG Hydrologie
Institution name at the time of publication:Fakultät für Umweltwissenschaften und Verfahrenstechnik (eBTU) / LS Environmental Informatics
Licence (German):Keine Lizenz vergeben. Es gilt das deutsche Urheberrecht.