Entwicklung eines durch Objekt-Erkennung realisierten semantikbasierten Nicht-Photorealistisches Rendering Verfahrens
Final Report Abstract
Ein semantikbasiertes nicht-fotorealistisches Renderingverfahren integriert Semantik und Eigenschaften von Objekten bei der Erzeugung von abstrakten Darstellungen. Anstatt bestimmte Stile, Repräsentationsformen global für alle zu erzeugenden Bildinhalte zu nutzen, wird der Stil anhand der Objekteigenschaft gewählt. Solche Eigenschaften kännen Materialeigenschaften, aber auch die Semantik eines Objektes selbst sein. Im ersten Teil wurden Bilder selektiert, die nur wenige markante Objekte beinhalten. Wir beschränkten uns in diesem Fall auf Bäume innerhalb von Landschaften. Diese Bilder wurden manuell segmentiert und die enthaltenen Objekte von Hand klassifiziert. Für den am Lehrstuhl entwickelten Malroboter e-David wurden zwei Malstile für Tuschepinsel programmiert. Diese eignen sich wie für unterschiedliche Objekte. Ein Stil erzeugt kurze gerade Striche, die sich für Gras auf einer Wiese eignen. Der zweite Stil erzeugt lange kurvige Striche, die sich für z.B. Äste von Bäumen besser eignet. Diese unterschiedlichen Repräsentationseigenschaften untersuchten wir und konnten die bisherige ästhetische Qualität von unseren Tuschezeichnungen sichtlich verbessern. Ferner konnten wir den Segmentierungs- und Klassifizierungsprozess teilweise automatisieren. Mit Hilfe des Bag-of-Words Klassifikationsverfahrens und eines interaktiven Segmentierungsverfahrens konnten wir einzelne Objekte in Bilder identifizieren und entsprechenden Malstilen, basierend auf Erfahrungswerten, zuordnen. Malstile konnten wir durch Parameter wie Strichlängen, Pinseldicken und Orientierungsvariation sowie Strichkrümmung definieren und für die Art des darzustellenden Objektes individuell anpassen. Weiterhin wurde ein Strichplatzierungsverfahren, basierend auf Voronoidiagrammen und erweiterter Lloyd-Methode, entwickelt, welches Malprozesse beschleunigt und eine Art Dithering auf Strichbasis ermöglicht. Die weitere Formalisierung von Malstilen ist zur Zeit Gegenstand unserer Forschung. Momentan arbeiten wir an Verfahren, die es ermöglichen, Striche von Gemälden zu extrahieren. Basierend darauf möchten wir Distanzmetriken und Datenstrukturen entwickeln, die es uns ermöglichen, Malstile von bekannten Künstlern zu erfassen und auf die Gemälde, die mit e-David gemalt werden, anzuwenden.
Publications
- Feedback-guided stroke placement for a painting machine. In Proceedings of the Eighth Annual Symposium on Computational Aesthetics in Graphics, Visualization, and Imaging, CAe ’12, pages 25–33, Aire-la-Ville, Switzerland, Switzerland, 2012. Eurographics Association
Oliver Deussen, Thomas Lindemeier, Sören Pirk, and Mark Tautzenberger
- E-David: Wissenschaftlicher Versuch und malendes Monstrum. In Zufallszwänge - Roboterbilder zwischen Wissenschaft und Kunst - Catalogue of the exhibition in Konstanz, pages 39–45. Konstanz, 2013
Oliver Deussen and Thomas Lindemeier
- Image stylization with a painting machine using semantic hints. Computers & Graphics, 37(5):293–301, August 2013
Thomas Lindemeier, Sören Pirk, and Oliver Deussen
- Artistically Skilled Embodied Agents. In Proceedings of AISB2014, London, 2014
Patrick Tresset and Oliver Deussen
- Hardware-based non-photorealistic rendering using a painting robot. Computer Graphics Forum 34,2, May 2015, Pages 311-323
Thomas Lindemeier, Jens Metzner, Lena Pollak and Oliver Deussen
(See online at https://doi.org/10.1111/cgf.12562)
