PEER: Eine computergestützte Platform zur Erstellung strukturierter Peer Reviews

• Antragstellerin: Professorin Dr. Iryna Gurevych
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 440185223

Um die Peer Review von wissenschaftlichen Manuskripten grundlegend zu verändern und zu verbessern, schlagen wir in diesem Projekt einen neuartigen Ansatz sowie eine Computeranwendung vor, welche die neuesten Entwicklungen in der digitalen Annotation und der natürlichen Sprachverarbeitung nutzen. Obwohl es im Mittelpunkt des wissenschaftlichen Qualitätssicherungssystems steht, ist Peer Review eine informelle Aktivität, und variiert stark je nach Forschungsgemeinschaft und Erfahrungsstand der Gutachter. Unzureichende Qualitätssicherung in Peer Review führt zu inkonsistenten Bewertungen. Dies ist in stark wachsenden Forschungsbereichen besonders ausgeprägt, denn hier besteht der Reviewer-Pool häufig aus Nachwuchswissenschaftlern und interdisziplinären Forschern. Dies verursacht die vermeintliche Zufälligkeit des Peer Reviews, welche die Qualitätskontrolle gefährdet. Die zunehmende Öffnung der Wissenschaft - sichtbar durch die wachsende Beliebtheit von Open-Access-Repositorien und Diskussionsplattformen - unterstreicht den Bedarf für ausführliches Peer-Reviewing deutlich.Die Digitalisierung hat die Kommunikation zwischen Autoren, Gutachtern und Redakteuren zwar deutlich beschleunigt, das Reviewing an sich hat sich aber in den letzten Jahrzehnten kaum weiterentwickelt. Um es an die Agilität des modernen Forschungsprozesses anzupassen, kombinieren wir etablierte Methoden in den Bereichen Peer Reviewing, Diskurstheorie und digitale Annotation in einem neuartigen Ansatz - Structured Peer Review - und entwickeln dazu eine Schreibassistenzanwendung, welche diesen Ansatz unterstützt. Unser Ansatz greift den informellen Annotationsprozess auf, der typischerweise beim Lesen von akademischen Texten stattfindet, und ermöglicht es, die Notizen durch Einordnung in ein Bewertungsschema zu einem Review (Bericht) zusammenzustellen. Die Anwendung kann verwendet werden, um strukturierte Reviews für konkrete Publikationen oder zu Übungszwecken zu erstellen, und dient als Plattform, welche es den Organisatoren des Begutachtungsprozesses ermöglicht, mit den Evaluierungskriterien zu experimentieren. Die daraus entstehenden strukturierten Review-Entwürfe können unverändert eingereicht oder in das übliche Aufsatzformat umgewandelt und weiter bearbeitet werden.Um den Evaluierungsprozess effizienter zu gestalten, entwickeln wir Assistenten mit Hilfe der natürlichen Sprachverarbeitung, welche die Gutachter unterstützen, ohne ihre Bewertung zu beeinflussen. Unsere Assistenzmodelle schlagen automatisch die Einordnung der Kommentare in das vorgegebene Bewertungsschema vor, helfen bei der Gruppierung ähnlicher Kommentare, und ermöglichen es, mehrere Reviews zu einem Meta-Review zusammenzuführen, um den Entscheidungsprozess zu unterstützen. Das Projekt ebnet den Weg für eine effiziente Auswertung wissenschaftlicher Manuskripte und zielt darauf ab, die Zusammenarbeit zwischen den Forschern in Metawissenschaften, digitaler Annotation und natürlicher Sprachverarbeitung zu fördern.

• DFG-Verfahren: Forschungsdaten und Software (Wiss. Literaturversorgung und Informationssysteme)