Konzeptpropagierung mittels einer partiellen Ähnlichkeitssuche für Bilder im World-Wide-Web

• Applicants: Professor Dr. Otthein Herzog; Professor Dr. Adalbert Wilhelm
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2007 to 2011
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 39686357

Um eine Suche nach Bildern über eine Texteingabe zu ermöglichen, versuchen die gängigen Suchmaschinen im WWW, einen Zusammenhang zwischen Bildern und dem umgebenden Text herzustellen. Dieser Ansatz schränkt allerdings die Menge der Bilder ein und ist außerdem fehleranfällig, da keine Aussagen über die Relevanz der Text-Bild-Beziehungen getroffen werden können. Alternative, auf Bildverarbeitung basierende Ansätze sind in der Praxis weniger nützlich, da die verwendeten Bildmerkmale häufig keiner Bedeutung zugeordnet werden können. In diesem Projekt sollen diese verschiedenen Blickwinkel integriert werden, um einen effektiveren Ansatz zur automatischen Annotation von Bildern und zum Bildretrieval zu entwickeln. Ein solcher Ansatz wird auf Text, Bildmerkmale oder, je nach Verfügbarkeit, beides zurückgreifen, und außerdem die Relevanz der Text-Bild-Beziehungen einbeziehen. Im bisherigen Projektverlauf wurden Algorithmen zur Extraktion spezieller Bildmerkmale (sog. Points-of-Interest) und von Schlagwörtern aus Text eingesetzt, um Bilder unüberwacht zu klassifizieren. Dabei wurden erfolgreich Wort- Bild-Beziehungen in einem beschränkten Kontext ausgenutzt. Es ist beabsichtigt, die bisher entwickelten Klassifikatoren sowohl in Hinblick auf die betrachteten Konzepte, als auch hinsichtlich des verwendeten Datenmaterials zu generalisieren. Der entstehende Prototyp wird ein System zur automatischen Annotation von Bildern mittels Konzeptpropagierung darstellen, wie es im Rahmen eines inhaltsbasierten Bildretrievals benötigt wird.

• DFG Programme: Research Grants