Lernen von kausalen Repräsentationen zur Antizipation von langfristigen Aktionen von wenigen Beispielen

• Antragsteller: Professor Dr. Andreas Bulling
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 564158652

Künstlich intelligente (KI) Systeme dringen in immer mehr Bereiche unseres Lebens vor und müssen dort eng mit uns Menschen interagieren. Zentral für die effiziente Interaktion liegt in der Fähigkeit von KI-Systemen, sich proaktiv an den Interaktionspartner anzupassen, was wiederum voraussetzt, dass sie vorhersehen können, was diese als Nächstes tun werden. Mit Hilfe des Wissens darüber, welche Aktionen zur Erledigung einer bestimmten Aufgabe erforderlich sind, können solche Systeme im Voraus planen und ihrem menschlichen Interaktionspartner wichtige Aktionen vorschlagen oder sogar proaktiv ausführen. Im Bereich der Antizipation von Aktionen sind zwei der drängendsten, offenen Herausforderungen: 1) Bisherige Arbeiten haben sich hauptsächlich auf Antizipationszeitspannen von nur wenigen Sekunden konzentriert. Dies ist für die meisten praktischen Anwendungen unzureichend, da menschliches Verhalten eine komplexe interne Struktur und langfristige Interdependenzen zwischen einzelnen Aktionen aufweist. 2) Angesichts der großen Variabilität des menschlichen Verhaltens kann nicht davon ausgegangen werden, dass interaktive KI-Systeme ausreichend auf alle möglichen Aktionssequenzen und Verhaltensweisen trainiert werden können, um die Antizipation praktisch nützlich zu machen. Ein System muss in der Lage sein, Aktionen und Verhalten zu verallgemeinern, die es in der Vergangenheit selten oder gar nicht gesehen hat. In diesem Projekt untersuchen wir das kausale Repräsentationslernen (CRL) für die langfristige Vorhersage von Aktionen von wenigen Trainingsbeispielen. Repräsentationen in Form von strukturellen Kausalmodellen (SCM) haben zwei entscheidende Vorteile, die sie für diese Aufgaben besonders geeignet machen: Erstens kodieren SCMs, welche Aktion/-en welche Aktion/-en verursacht/-en, was den Suchraum bei der Vorhersage möglicher zukünftiger Aktionen effektiv reduziert. Diese Reduktion des Suchraums ist umso entscheidender, je weiter in der Zukunft liegende Aktionen vorhergesagt werden. Zweitens kodieren die modularen Repräsentationen in SCMs "robustes Wissen" und können daher in verschiedenen Aktivitätsdomänen angewendet werden. Sie können potenziell unbekannte (nicht verteilte) Aktionen und Aktivitäten identifizieren, was zu einem effizienteren few-shot Lernen führt. Das Projekt verfolgt vier Ziele: 1) Entwicklung einer Methode zur Durchführung von Aktivitätsanalysen von Videos, um semantische Informationen zu erhalten für das Lernen kausaler Repräsentationen zu erhalten. 2) Entwicklung einer kausalen Methode zur langfristigen Vorhersage von Aktionen durch Anpassung der erlernten kausalen Repräsentation, um zukünftige Aktionen vorherzusagen. 3) Verallgemeinerung der Aktivitätsanalyse und der langfristigen Antizipation auf unbekannte Aktivitäten in einer "few-shot" Umgebung. Unser Ansatz basiert auf der gelernten kausalen Repräsentation und wendet diese auf unbekannte Aktivitäten an. 4) Integration aller entwickelten Methoden in ein Gesamtsystem.

• DFG-Verfahren: Sachbeihilfen