• search hit 1 of 1
Back to Result List

3D reconstruction using generalized perspective photometric stereo

3D-Rekonstruktion durch die Verwendung der generalisierten Perspektive Photometric Stereo

  • Reconstruction of the 3D shape information is a fundamental problem in computer vision. Among different shape recovering technologies, photometric stereo is highlighted for its capability to produce high quality 3D reconstruction. This dissertation generalizes photometric stereo in different aspects towards creating a practical 3D reconstruction. The proposed techniques can be considered as a fundamental support to develop future cameras offering 3D shapes for various applications such as movie and video game industry, medical sciences, virtual reality, automotive driving and etc. The first generalization is developed for addressing specularities in 3D reconstructions and also involving the perspective projection. These attempts lead to remove the limitation of working with diffuse materials and confined projected scenes. We will prove the applicability of our approach using complex scenes like endoscopy images. In the second proposed approach, we will offer a real-time 3D reconstruction of micro-details with a more generalizedReconstruction of the 3D shape information is a fundamental problem in computer vision. Among different shape recovering technologies, photometric stereo is highlighted for its capability to produce high quality 3D reconstruction. This dissertation generalizes photometric stereo in different aspects towards creating a practical 3D reconstruction. The proposed techniques can be considered as a fundamental support to develop future cameras offering 3D shapes for various applications such as movie and video game industry, medical sciences, virtual reality, automotive driving and etc. The first generalization is developed for addressing specularities in 3D reconstructions and also involving the perspective projection. These attempts lead to remove the limitation of working with diffuse materials and confined projected scenes. We will prove the applicability of our approach using complex scenes like endoscopy images. In the second proposed approach, we will offer a real-time 3D reconstruction of micro-details with a more generalized reflectance model. Moreover, a recurrent optimization network will be provided. These innovations lead to presenting the 3D reconstruction of details which are even invisible to human eyes like micro-prints on the banknote. This information recovery can be used in various areas such as detecting security items on financial documents for fraud detection and also the quality control of any industrial productions including delicate details such as printed circuits. In the third proposed model, we develop a PS reconstruction technique using neural networks for the uncalibrated PS where the light direction is not available. Finally, for the first time, benefiting from deep neural networks and meta heuristic algorithms, we will devise an approach which can deliver high qualified 3D shape from the internet and out-door images, without any pre-necessary knowledge.show moreshow less
  • Die Rekonstruktion von 3D-Gestaltinformationen ist eine fundamentale Aufgabenstellung im Bereich Computer-Vision. Unter den verschiedenen Techniken ist das sogenannte Photometrische Stereo Verfahren (PS) hervorzuheben, da es im Vergleich zu anderen Ansätzen ein höheres Potenzial für eine hoch genaue 3D-Rekonstruktion besitzt. Diese Arbeit befasst sich mit Verallgemeinerungen klassischer PS-Ansätze, die dieses Potenzial weiter ausschöpfen sollen. Die Entwicklungen können beispielsweise verwendet werden, um in Zukunft die 3D-Information in verschiedensten Bereichen für einen Anwender zu erschließen, wie etwa in der Medizin, der Film- und Videospieleindustrie, beim autonomen Fahren oder für Anwendungen in der virtuellen Realität. Die erste der Neuentwicklungen betrifft die systematische Verwendung von hellen Lichtreflexionen in der Berechnung der 3D-Rekonstruktion sowie die perspektivische Projektion. Hierdurch werden Beschränkungen üblicher Methoden, wie auf die Rekonstruktion diffus reflektierender Materialien und auf relativ weitDie Rekonstruktion von 3D-Gestaltinformationen ist eine fundamentale Aufgabenstellung im Bereich Computer-Vision. Unter den verschiedenen Techniken ist das sogenannte Photometrische Stereo Verfahren (PS) hervorzuheben, da es im Vergleich zu anderen Ansätzen ein höheres Potenzial für eine hoch genaue 3D-Rekonstruktion besitzt. Diese Arbeit befasst sich mit Verallgemeinerungen klassischer PS-Ansätze, die dieses Potenzial weiter ausschöpfen sollen. Die Entwicklungen können beispielsweise verwendet werden, um in Zukunft die 3D-Information in verschiedensten Bereichen für einen Anwender zu erschließen, wie etwa in der Medizin, der Film- und Videospieleindustrie, beim autonomen Fahren oder für Anwendungen in der virtuellen Realität. Die erste der Neuentwicklungen betrifft die systematische Verwendung von hellen Lichtreflexionen in der Berechnung der 3D-Rekonstruktion sowie die perspektivische Projektion. Hierdurch werden Beschränkungen üblicher Methoden, wie auf die Rekonstruktion diffus reflektierender Materialien und auf relativ weit entfernte Objekte, aufgehoben. Die Anwendbarkeit des entwickelten Ansatzes wird mittels der Rekonstruktion aus endoskopischen Bildern mit vielen hellen Lichtreflexionen untermauert. In einem weiteren Schritt wird gezeigt, wie man in Echtzeit eine 3D-Rekonstruktion auch von sehr feinen Details mittels eines verallgemeinerten Reflexionsmodells erreichen kann. Hierdurch werden hochaufgelöste Rekonstruktionen auch von Details erreicht, die für das menschliche Auge in Bildern unsichtbar sind. Hieraus ergeben sich viele potenzielle Anwendungsmöglichkeiten, etwa im Bereich der automatischen Detektion von Mikrodruck, die im Sicherheitsbereich Verwendung finden, oder in der industriellen Produktion für die Detektion sehr feiner Strukturen wie etwa gedruckter Schaltkreise. Als weiterer Beitrag der Arbeit wird ein Verfahren für das sogenannte nicht-kalibrierte PS entwickelt, bei dem neuronale Netzwerke verwendet werden, um die in diesem Fall fehlende Information der Beleuchtungsrichtung auszugleichen. Schließlich wird zum ersten Mal in der Literatur beschrieben, wie man basierend auf Metaheuristiken und tiefen neuronalen Netzen eine qualitativ hochwertige 3D-Rekonstruktion allein durch Bilder aus dem Internet oder natürliche Bilder ohne weiteres zusätzliches Wissen erlangt.show moreshow less

Download full text files

Export metadata

Additional Services

Search Google Scholar Stastistics
Metadaten
Author: Maryam Khanian
URN:urn:nbn:de:kobv:co1-opus4-47191
Referee / Advisor:Prof. Dr. rer. nat. habil. Michael Breuß, Prof. Dr. habil. Douglas Cunningham
Document Type:Doctoral thesis
Language:English
Year of Completion:2018
Date of final exam:2018/07/13
Release Date:2019/04/15
Tag:3D-Rekonstruktion; Computer-Vision; Künstliche Intelligenz; Neuronale Netze; Photometrisches Stereo
3D Reconstruction; Artificial Intelligence; Computer vision; Neural networks; Photometric stereo
GND Keyword:Dreidimensionale Rekonstruktion; Maschinelles Sehen; Neuronales Netz
Institutes:Fakultät 1 MINT - Mathematik, Informatik, Physik, Elektro- und Informationstechnik / FG Angewandte Mathematik
Licence (German):Keine Lizenz vergeben. Es gilt das deutsche Urheberrecht.
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.