Mikrooptik-Lesebrille für Blinde und Sehbehinderte
Final Report Abstract
Im Laufe des Projektes wurden zwei komplementäre Lösungsansätze verfolgt und im Ergebnis zwei unterschiedliche Vorlesesysteme produziert. Das erste Gerät wird am Körper getragen und zeichnet sich durch seine hohe Mobilität aus, während das alternative System eine klassische Variante des tragbaren Vorlesegeräts darstellt und vor allem hinsichtlich der Performance optimiert wurde. Das erste System hat die ersten Tests unter realistischen Bedingungen bereits erfolgreich absolviert. Dabei wurde insbesondere die Robustheit des Systems beim Einsatz in einer natürlichen Umgebung unter Beweis gestellt. Es wurde gezeigt, dass das Gerät sowohl im Hausbereich als auch im Freien zuverlässig funktioniert und in sehr vielen Anwendungsfällen eine ausreichend gute Leistung abliefert. Eine wichtige Verbesserung gegenüber existierenden Lösungen besteht darin, dass das System die Entdeckung und Aufnahme von textueller Information übernimmt, wodurch die Handhabung des Geräts für den Benutzer erheblich erleichtert wird. Die implementierte Echtzeit-Textdetektion ermöglicht eine beiläufige Erkundung der Umgebung, wobei die Detektionsbenachrichtigung innerhalb von 1s nach dem Anvisieren eines Textobjekts erfolgt. Da man mit zahlreichen mobilitätsbedingten Herausforderungen wie Bewegungsartefakten oder Dokumentverzerrungen konfrontiert wird, setzt man sowohl in der Aufnahmephase als auch in der Verarbeitungsphase Algorithmen aus dem Bereich Bildverarbeitung ein, um die negativen Auswirkungen der unkontrollierbaren Aufnahmebedingungen zu kompensieren. Eine besondere Rolle spielen dabei Stereovision-basierte Methoden, die an mehreren Stellen zur Verbesserung der Bildqualität beitragen. Ein wichtiger Faktor für die Benutzbarkeit des Vorlesegeräts ist die Wartezeit, die das Gerät für die Verarbeitung des Dokuments braucht. Dank der schnellen Methode zur Bestimmung der Vorlesereihenfolge kann die Ausgabe des Ergebnisses parallel zum Prozess der Zeichenerkennung erfolgen, sodass die Reaktionszeit des Geräts in den meisten Fällen unter 30 s bleibt. Der Umgang mit extrem ungünstigen Lichtverhältnissen stellt nach wie vor ein ungelöstes Problem dar. Große Schwierigkeiten bereiten dem Gerät bspw. direktes Sonnenlicht sowie starke Reflektionen auf Glanzoberflächen. Der Einsatz von Hochkontrastbild (engl. High Dynamic Range)-Verfahren, der sich in solchen Fällen anbietet, wird einerseits von dem verwendeten Kameramodul nicht unterstützt und andererseits durch die unzureichende Rechenleistung der mobilen Plattform verhindert. Ein weiterer Verbesserungsbedarf besteht in der Prozedur der Dokumenterfassung, bei der man momentan auf eine aktive Mitwirkung des Benutzers angewiesen ist. Eine Vergrößerung des Sichtfelds unter Verwendung von zusätzlichen Kameras ist jedoch aufgrund der Bandbreitenbeschränkung der Standardbussysteme problematisch. Ungeachtet der oben genannten Schwierigkeiten handelt es sich bei dem ersten Prototyp um ein voll einsatzfähiges System, welches von den meisten Testpersonen bereits nach einer kurzen Lernphase erfolgreich bedient werden konnte. Dank der Verwendung von preisgünstigen Standardkomponenten ist eine Massenproduktion des Geräts vorstellbar. Das zweite Vorlesesystem wird nicht am Körper getragen und muss vor der Anwendung aufgebaut werden. Es ist mit einer einzigen Kamera ausgerüstet und hat eine schlankere Verarbeitungsprozedur als das erste Gerät, wodurch sich die Gesamtverarbeitungszeit um etwa 20% reduziert. Hier ging man sogar einen Schritt weiter, was die wirtschaftliche Verwendbarkeit anbelangt, indem man einen produktionsfertigen Prototyp entwickeln ließ.
Publications
- 2009: "Local Contrast Segmentation to Binarize Images", Third International Conference on the Digital Society (ICDS 2009), Cancun/Mexiko, 2009, pp. 294-299
M. Block, R. Rojas
- 2009: "Multi-Exposure Document Fusion Based on Edge-Intensities", 10th International Conference on Document Analysis and Recognition (ICDAR 2009), July 2009, Barcelona, Spain, 2009, pp. 136-140
Marco Block, Maxim Schaubert, Fabian Wiesel, Raúl Rojas
- 2009: "Recognition of On-Line Handwritten Commutative Diagrams", 10th International Conference on Document Analysis and Recognition (ICDAR 2009), July 2009, Barcelona, Spain, 2009, pp. 1211-1215
Raúl Rojas, Andreas Stoffel, Ernesto Tapia
- 2010: "Painting Art To Hear for Visually Impaired and Blind People", The Eleventh IASTED International Conference on Computer Graphics and Imaging (CGIM 2010), Innsbruck/Austria, 2010
Yogev N., Block M., Rojas R.
- 2010: "Semantic Local Contrast Segmentation to Binarize and Recognize Text Documents", The Fourth International Conference on Digital Society (ICDS 2009), St. Maarten/Netherlands Antilles, 2010
Block M., Losch T., R. Guilbourd, Rojas R.
- 2010: “Transition pixel: A concept for binarization based on edge detection and gray-intensity histograms”, Pattern Recognition, Volume 43, Issue 4, April 2010, Pages 1233-1243
Marte A. Ramirez-Ortegon, Ernesto Tapia, Lilia L. Ramirez-Ramirez, Raul Rojas, Erik Cuevas
- 2010: “Transition thresholds and transition operators for binarization and edge detection”, Pattern Recognition, Volume 43, Issue 10, October 2010, pp. 3243-3254
Marte A. Ramírez-Ortegón, ErnestoTapia, Lilia L. Ramírez-Ramírez, Raúl Rojas and Erik Cuevas
- 2010: “Unsupervised Evaluation Methods Based on Local Gray-Intensity Variances for Binarization of Historical Documents”, Proceedings of the 20th International Conference on Pattern Recognition, Istanbul Turkey, August 2010
Marte A. Ramirez-Ortegon, and Raul Rojas
- 2011: “Unsupervised Evaluation Measures for Parameter Selection in Binarization”, Pattern Recognition, Vol. 44, 2011, pp. 491-502
Ramírez-Ortegón, Marte A., Duéñez-Guzmán, E., Rojas, R. and Cuevas, E.
- 2012: „Stereo camera based wearable reading device“, in Jean-Marc Seigneur, Hartmut Koenitz, Guillaume Moreau (eds.): Proceedings of the 3rd ACM Augmented Human International Conference, AH 2012, Megève, France, March 8-9, 2012.
Roman Guilbourd, Noam Yogev, Raúl Rojas
