Das interaktive Kochbuch

• Antragsteller: Professor Dr. Alexander Koller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 461220770

Das Ziel des Projektes ist die Entwicklung eines "Interaktiven Kochbuchs": eines Sprachdialogsystems, das Benutzer beim Kochen anleitet. Das System soll Rezept-Texte sprachlich analysieren und diese in einen symbolischen Rezeptgraphen repräsentieren, der alternative Wege darstellt, wie man ein bestimmtes Essen kochen und erklären kann. In der Interaktion mit dem Benutzer soll das Dialogsystem Anweisungen auf deutsch oder englisch generieren, die das Rezept auf Grundlage des Rezeptgraphen Schritt für Schritt erklären. Dabei passt sich das Dialogsystem daran an, wie detailliert man dem Benutzer das Rezept erklären muss.Bei der Entwicklung dieses Interaktiven Kochbuchs stellen sich eine Reihe von komplexen Forschungsfragen. Erstens sind Kochrezepte eine sehr spezifische Textsorte, und Modelle für die Sprachanalyse, die auf Standard-Korpora trainiert wurden, müssen an die Rezeptdomäne angepasst werden. Wir werden außerdem erstmals verschiedene Rezepte für das gleiche Essen in eine einzige Repräsentation zusammenführen, um je nach Benutzer das Rezept verschieden detailliert erklären zu können.Zweitens müssen wir neuronale Word Embeddings verfeinern, um domänenspezifische Bedeutungsunterschiede zu erfassen. "Salz" und "Zucker" werden beim Training auf Standardtexten als sehr ähnliche Vektoren repräsentiert, aber beim Kochen ist der Unterschied zwischen Salz und Zucker extrem wichtig.Schließlich werden wir neue Methoden für die Sprachgenerierung entwickeln. Grammatikbasierte Verfahren haben Abdeckungsprobleme, wenn sie beliebige Rezepte erklären sollen, und neuronale Methoden - wie sie z.B. beim automatischen Zusammenfassen von Texten verwendet werden - haben Schwierigkeiten damit, Sprache zu produzieren, die eine bestimmte Bedeutung ausdrückt. Ein Schwerpunkt des Projekts liegt daher darauf, durch die Kombination eines neuronalen Generierungssystems mit symbolischen Repräsentationen Anweisungen zu generieren, die den tatsächlichen Inhalt der Originalrezepte wiedergeben.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich(e): Lucia Donatelli, Ph.D.