Vidoebasiertes Lesen von Texten und handschriftlichen Präsentationsnotizen am Whiteboard

• Applicant: Professor Dr.-Ing. Gernot A. Fink
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Computer Architecture, Embedded and Massively Parallel Systems
• Term: from 2007 to 2012
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 42000795

• Final Report Year: 2012

Final Report Abstract

Die meisten Ansätze zur Verarbeitung handschriftlicher Dokumente erfordern spezialisierte Eingabegerate, wie Scanner oder Digitalisiertablets. Daher sind diese in den Anwendungsmöglichkeiten eingeschränkt. Dies gilt insbesondere für die Erfassung von am Whiteboard erstellten Notizen, wie Sie z.B. als Ergebnis von Brainstorming-Sitzungen entstehen. In diesem Projekt wurden auf der Basis von Vorarbeiten grundlegende Methoden zur kamera-basierten inkrementellen Erkennung handschriftlicher Whiteboard-Dokumente in realistischen Szenarien entwickelt. Es entstanden Verfahren zur automatischen Segmentierung von Whiteboard Dokumenten, zur Extraktion und Gruppierung von Schriftelementen, zur Klassifikation und Transkription der Dokumentbestandteile sowie zur Erzeugung eines strukturierten elektronischen Abbilds des Whiteboard-Dokuments. Zusammengefaßt werden diese in einem Forschungsprototypen zur interaktiven Analyse von handschriftlich am Whiteboard erstellten Mindmaps. Im Verlauf des Projekts hatte sich gezeigt, dass insbesondere die automatische Segmentierung realistischer Whiteboard-Dokumente eine weitaus anspruchsvollere Aufgabe darstellte als zunächst angenommen. Dennoch konnten mit Verfahren des maschinellen Lernens hier vielversprechende Lösungsansätze entwickelt werden. Die Ergebnisse des Projekts stellen damit einen bescheidenen aber wichtigen Beitrag zum Fortschritt im weiteren Feld der kamerabasierten Dokumentenanalyse dar. Diese Forschungsrichtung hat inzwischen deutlich an Bedeutung gewonnen, da im Bereich der Dokumentenanalyse insgesamt ein Trend hin zur Detektion und Erkennung von Texten in realen Szenen zu beobachten ist, was kaum anders als mit Hilfe einer kamerabasierten Dokumentverarbeitung zu erreichen ist. Dass sich die Arbeiten und die Ergebnisse des Projekts auf hochaktuelle Forschungsfragen beziehen ist daher wohl ausschlaggebend gewesen für die Etablierung verschiedener weiterführender Forschungskooperationen auf der Basis der Projektarbeiten, aus denen teilweise drittmittelgeförderte Projekte hervorgegangen sind.

Publications

• Camera-based Whiteboard Reading: New Approaches to a Challenging Task. In: Proc. 11th Int. Conference on Frontiers in Handwriting Recognition, Montreal, Canada, 2008, S. 385–390
  T. Plötz, C. Thurau, G. A. Fink
  
• Camera-Based Analysis of Whiteboard Notes. In: 3rd Int. Workshop on Camera-Based Document Analysis and Recognition, Barcelona, Spain, 2009, S. 42–49
  S. Vajda, T. Ramforth, T. Plötz, G. A. Fink
  
• Layout Analysis for Camera-Based Whiteboard Notes. Journal of Universal Computer Science, Bd. 15, Nr. 18, 2009, S. 3307–3324
  S. Vajda, T. Plötz, G. A. Fink
  
• Exploring Pattern Selection Strategies for Fast Neural Network Training. In: International Conference on Pattern Recognition, IAPR, IEEE Computer Society, Istanbul, Turkey, 2010, S. 2913–2916
  S. Vajda, G. A. Fink
  
• Online Bangla Word Recognition Using Sub-Stroke Level Features and Hidden Markov Models. In: International Conference on Frontiers in Handwriting Recognition, IAPR, Kolkata, India, 2010, S. 393–398
  G. A. Fink, S. Vajda, U. Bhattacharya, P. S., B. B. Chaudhuri
  
• Strategies for Training Robust Neural Network Based Digit Recognizers on Unbalanced Data Sets. In: International Conference on Frontiers in Handwriting Recognition, IAPR, IEEE Computer Society, Kolkata, India, November 2010, S. 148–153
  S. Vajda, G. A. Fink
  
• Towards Feature Learning for HMM-based Offline Handwriting Recognition. In: International Workshop on Frontiers of Arabic Handwriting Recognition, IAPR, Istanbul, Turkey, 2010
  N. Y. Hammerla, T. Plötz, S. Vajda, G. A. Fink
  
• A Camera-Based Interactive Whiteboard Reading System. In: International Workshop on Camera-Based Document Analysis and Recognition, Beijing, China, September 2011, S. 91–96
  S. Vajda, L. Rothacker, G. A. Fink
  
• A Semi-Supervised Ensemble Learning Approach for Character Labeling with Minimal Human Effort. In: International Conference on Document Analysis and Recognition, IAPR, IEEE Computer Society, Beijing, China, September 2011, S. 259–263
  S. Vajda, A. Junaidi, G. A. Fink