Requirements Smells in Prompts (ReSPro)

• Antragsteller: Professor Dr. Andreas Vogelsang
• Fachliche Zuordnung: Softwaretechnik und Programmiersprachen
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 566352773

Das Projekt “Requirements Smells in Prompts (ReSPro)” untersucht, wie sprachliche Unklarheiten in natürlichsprachlichen Anforderungen die Leistung großer Sprachmodelle (LLMs) bei Aufgaben der Softwareentwicklung beeinflussen. Da Entwickler:innen zunehmend auf LLMs für Codegenerierung, Testfallableitung und Anforderungsverfolgung setzen, soll das Projekt analysieren, inwieweit sogenannte Requirements Smells – also Mehrdeutigkeiten, Inkonsistenzen oder Unschärfen – die Qualität KI-generierter Softwareartefakte beeinträchtigen. Das Forschungsprojekt verfolgt zwei Hauptziele: Zum einen wird untersucht, welchen Einfluss Requirements Smells auf verschiedene softwaretechnische Aufgaben haben. Zum anderen sollen Werkzeuge entwickelt werden, um diese Probleme zu erkennen und zu beheben. Im Fokus stehen vier Aufgabenbereiche: Codegenerierung, Testfallgenerierung, automatisierte Rückverfolgbarkeit und Modellgenerierung aus Textanforderungen. Durch kontrollierte Experimente mit Datensätzen, die sowohl qualitativ hochwertige als auch smelly Anforderungen enthalten, wird ermittelt, inwieweit unklare Eingaben die generierten Artefakte beeinflussen. Dabei werden verschiedene Prompting-Strategien wie Zero-Shot, Few-Shot und Chain-of-Thought mit unterschiedlichen LLMs, darunter GPT, Llama, Claude und Mistral, getestet. In der zweiten Phase werden praxisnahe Werkzeuge entwickelt, um Entwickler:innen bei der Verbesserung ihrer Prompts zu unterstützen. Ein statischer Checker soll potenzielle Probleme markieren, ein interaktiver Bot hilft bei der Verfeinerung unklarer Anforderungen, und ein automatisches Prompt-Tuning-System passt Eingaben vor der Weitergabe an ein LLM an. Diese Lösungen sollen Fehler und Inkonsistenzen in KI-generierten Ergebnissen reduzieren und die Zuverlässigkeit von LLMs für Softwareentwicklungsaufgaben erhöhen. ReSPro wird einen wesentlichen Beitrag zur KI-gestützten Softwareentwicklung leisten, indem es Best Practices für das Prompt Engineering etabliert und die Klarheit von Anforderungen verbessert. Durch die Untersuchung der sprachlichen Qualität von Eingaben wird das Projekt Softwareingenieuren helfen, genauere und zuverlässigere Ergebnisse mit generativer KI zu erzielen. Die Forschung erstreckt sich über drei Jahre, wobei zunächst die Problemanalyse im Mittelpunkt steht, gefolgt von der Entwicklung von Lösungen zur Optimierung der KI-gestützten Automatisierung in der Softwareentwicklung.

• DFG-Verfahren: Sachbeihilfen