Refine
Year of publication
- 2021 (13) (remove)
Document Type
- Announcement (7)
- Article (4)
- Master's Thesis (1)
- Study Thesis (1)
Keywords
- Amtliche Mitteilungen (7)
- Prüfungsrecht (7)
- Bachelor (6)
- Prüfungsordnung (6)
- Satzung (5)
- Änderung (4)
- Master (2)
- Elektrotechnik (1)
- Java (1)
- Neuronal Network (1)
Department/institution
- Fachbereich - Elektro- & Informationstechnik (13) (remove)
Differentiable Compound Optics and Processing Pipeline Optimization for End-to-end Camera Design
(2021)
Most modern commodity imaging systems we use directly for photography‐-or indirectly rely on for downstream applications‐-employ optical systems of multiple lenses that must balance deviations from perfect optics, manufacturing constraints, tolerances, cost, and footprint. Although optical designs often have complex interactions with downstream image processing or analysis tasks, today’s compound optics are designed in isolation from these interactions. Existing optical design tools aim to minimize optical aberrations, such as deviations from Gauss’ linear model of optics, instead of application-specific losses, precluding joint optimization with hardware image signal processing (ISP) and highly parameterized neural network processing. In this article, we propose an optimization method for compound optics that lifts these limitations. We optimize entire lens systems jointly with hardware and software image processing pipelines, downstream neural network processing, and application-specific end-to-end losses. To this end, we propose a learned, differentiable forward model for compound optics and an alternating proximal optimization method that handles function compositions with highly varying parameter dimensions for optics, hardware ISP, and neural nets. Our method integrates seamlessly atop existing optical design tools, such as Zemax. We can thus assess our method across many camera system designs and end-to-end applications. We validate our approach in an automotive camera optics setting‐-together with hardware ISP post processing and detection‐-outperforming classical optics designs for automotive object detection and traffic light state detection. For human viewing tasks, we optimize optics and processing pipelines for dynamic outdoor scenarios and dynamic low-light imaging. We outperform existing compartmentalized design or fine-tuning methods qualitatively and quantitatively, across all domain-specific applications tested.
We present a novel metric Spatial Recall Index to assess the performance of machine-learning (ML) algorithms for automotive applications, focusing on where in the image which performance occurs. Typical metrics like intersection-over-union (IoU), precisionrecallcurves or average precision (AP) quantify the performance over a whole database of images, neglecting spatial performance variations. But as the optics of camera systems are spatially variable over the field of view, the performance of ML-based algorithms is also a function of space, which we show in simulation: A realistic objective lens based on a Cooke-triplet that exhibits typical optical aberrations like astigmatism and chromatic aberration, all variable over field, is modeled. The model is then applied to a subset of the BDD100k dataset with spatially-varying kernels. We then quantify local changes in the performance of the pre-trained Mask R-CNN algorithm. Our examples demonstrate the spatial dependence of the performance of ML-based algorithms from the optical quality over field, highlighting the need to take the spatial dimension into account when training ML-based algorithms, especially when looking forward to autonomous driving applications.
Das Landeskrebsregister (LKR) Nordrhein-Westfalen (NRW) erfasst Daten zu Krebserkrankungen von Patienten von Ärzten, Krankenhäusern, Pathologien und Meldeämtern aus ganz NRW um diese auszuwerten. Für die Auswertung müssen Daten, die den gleichen Patienten betreffen, zusammen- geführt werden. Zur Verknüpfung gibt es einen automatischen Record-Linkage Algorithmus, der aber bei ca. 5% aller Meldungen eine manuelle Entscheidung erfordert.
Um den Aufwand der manuellen Nachbearbeitung zu reduzieren, soll der Vorgang durch ein künstliches neuronales Netz automatisiert werden. Das künstliches neuronales Netz (KNN) soll mit dem LKR NRW vorliegenden Daten zu manuellen Entscheidungen trainiert werden. Dafür müssen die Daten vor der Verwendung umfangreich aufbereitet werden.
Das Ziel der Arbeit ist die Aufarbeitung und Aktualisierung eines vorliegenden Konzepts und die Implementierung eines Prototypen des Verfahrens. Der Prototyp soll in der Programmiersprache Java umgesetzt werden.
Die folgende Arbeit beginnt mit einer kurzen Einleitung über die Krankheit Krebs, das LKR NRW und KNN. Danach erläutere ich die Methodik, die sich mit und die Implementierung des Themas. In der Methodik erkläre ich was KNN sind und schneide ihre Funktionsweise an. Außerdem erkläre ich wie die Bereitstellung der Daten erfolgt und wie diese für das neuronale Netz verständlich aufbereitet werden. Zur Implementierung werde ich beschreiben was für eine Entwicklungsumgebung verwendet
wurde um das Projekt umzusetzen und wie das Programm umgesetzt wurde. Die Erklärung der Umsetzung besteht aus Unified Modeling Language (UML)-Diagrammen für die Datenaufbereitung und Code-Ausschnitte für die Konfiguration und Schnittstellen des KNN.
Das KNN konnte inklusive Datenaufbereitung erstellt werden und klassifiziert 94,4% der Fälle korrekt. Auf Grundlage dieser Arbeit kann das Projekt nachgebaut werden.