Refine
Document Type
- Article (peer reviewed) (3) (remove)
Has Fulltext
- no (3)
Is part of the Bibliography
- no (3)
Keywords
- Computer vision (1)
- Dienstleistungsroboter (1)
- Integrated System (1)
- Robotics (1)
- Sensorik bei Robotern (1)
- Service robots (1)
- Speech understanding and dialogue (1)
- Spracherkennung (1)
- multiokulare Objektverfolgung (1)
Institute
- Fakultät für Informatik (3) (remove)
This contribution introduces MOBSY, a fully integrated, autonomous mobile service robot system. It acts as an automatic dialogue-based receptionist for visitors to our institute.
MOBSY incorporates many techniques from different research areas into one working stand-alone system. The techniques involved range from computer vision over speech understanding to classical robotics.
Along with the two main aspects of vision and speech, we also focus on the integration aspect, both on the methodological and on the technical level.
We describe the task and the techniques involved. Finally, we discuss the experiences that we gained with MOBSY during a live performance at our institute.
Die typischerweise gewünschten Einsatzgebiete für Dienstleistungsroboter, z. B. Krankenhäuser oder Seniorenheime, stellen sehr hohe Anforderungen an die Mensch-Maschine-Schnittstelle.
Diese Erfordernisse gehen im Allgemeinen über die Möglichkeiten der Standardsensoren, wie Ultraschalloder Infrarotsensoren, hinaus. Es müssen daher ergänzende Verfahren zum Einsatz kommen.
Aus der Sicht der Mustererkennung sind die Nutzung des Rechnersehens und des natürlichsprachlichen Dialogs von besonderem Interesse. Dieser Beitrag stellt das mobile System MOBS Y vor. MOBS Y ist ein vollkommen integrierter autonomer mobiler Dienstleistungsroboter.
Er dient als ein automatischer dialogbasierter Empfangsservice für Besucher unseres Instituts.
MOBSY vereinigt vielfältige Methoden aus unterschiedlichsten Forschungsgebieten in einem eigenständigen System. Die zum Einsatz kommenden Methoden aus dem Bereich der Bildverarbeitung reichen dabei von Objektklassifikation über visuelle Selbstlokalisierung und Rekalibrierung bis hin zu multiokularer Objektverfolgung.
Die Dialogkomponente umfasst Methoden der Spracherkennung, des Sprachverstehens und die Generierung von Antworten. Im Beitrag werden die zu erfüllende Aufgabe und die einzelnen Verfahren dargestellt.
OBJECTIVES:
To generate a fast and robust 3-D visualization of the operation site during minimal invasive surgery.
METHODS:
Light fields are used to model and visualize the 3-D operation site during minimal invasive surgery. An endoscope positioning robot provides the position and orientation of the endoscope. The a priori un-known transformation from the endoscope plug to the endoscope tip (hand-eye transformation) can either be determined by a three-step algorithm, which includes measuring the endoscope length by hand or by using an automatic hand-eye calibration algorithm. Both methods are described in this paper and their respective computation times and accuracies are compared.
RESULTS:
Light fields were generated during real operations and in the laboratory. The comparison of the two methods to determine the unknown hand-eye transformation was done in the laboratory. The results which are being presented in this paper are: rendered images from the generated light fields, the calculated extrinsic camera parameters and their accuracies with respect to the applied hand-eye calibration method, and computation times.
CONCLUSION:
Using an endoscope positioning robot and knowing the hand-eye transformation, the fast and robust generation of light fields for minimal invasive surgery is possible.