"Distributed Peer Review hat aus unserer Sicht viel Potenzial"
Coloures-Pic - stock.adobe.com
In der Förderinitiative "Aufbruch – Neue Forschungsräume für die Geistes‑ und Kulturwissenschaften" setzt die Stiftung erstmals ein neues Begutachtungsverfahren ein: das "Distributed Peer Review". Im Interview erläutert Dr. Hanna Denecke, Teamleiterin im Profilbereich "Exploration", das Experiment.
Beim "Distributed Peer Review", kurz DPR, sollen sich die Antragstellenden gegenseitig begutachten. Wie genau funktioniert das?
Hanna Denecke: Das ist gar nicht so kompliziert: Die Antragstellenden erklären sich beim DPR mit dem Einreichen ihres Antrags bereit, andere Anträge, die für dasselbe Förderangebot eingereicht werden, zu begutachten. Gleichzeitig stimmen sie natürlich auch zu, ihren eigenen Antrag von anderen Antragsteller:innen begutachten zu lassen.
Wir erproben, wie Forschungsförderung effizienter, effektiver und gerechter gestaltet werden kann.
Ist das ein neues Verfahren oder gibt es bereits Erfahrungen bei anderen Wissenschaftsförderern?
Ganz neu ist die Methode nicht, sie wurde bislang aber nur sehr vereinzelt eingesetzt. Die Europäische Südsternwarte ESO beispielsweise weist Beobachtungszeit an den Teleskopen mit DPR zu. Beim Niederländischen Forschungsrat NWO wird DPR in kleineren Förderprogrammen wie zum Beispiel den sogenannten XS Programmen in den Naturwissenschaften beziehungsweise in den Geistes- und Gesellschaftswissenschaften eingesetzt.
In der Stiftung sind wir da deutlich experimentierfreudiger. Wir wollen das Verfahren für größere Projekte und bei hoher fachlicher Heterogenität einsetzen, sehen uns also durchaus als Vorreiter. Dabei ist es uns besonders wichtig, mehr über das Begutachtungsverfahren zu erfahren: Wo liegen die Vorteile? Was sind die Herausforderungen? Und wie gehen die Antragstellenden damit um?
Welche Vorteile erhofft sich die Stiftung konkret?
DPR hat aus unserer Sicht viel Potenzial. Es steht ein größerer Pool an Gutachter:innen zur Verfügung als beim herkömmlichen Panel Review. Jeder Antrag kann also mehrfach begutachtet werden, was eine qualitativ hochwertige Auswahl ermöglicht. Und es bedeutet auch, dass Antragstellende mehr Feedback zu ihren Anträgen erhalten. Das Verfahren könnte außerdem dazu beitragen, die administrativen Prozesse effizienter und schneller zu gestalten. Wir gehen davon aus, dass das auch die Zufriedenheit der Antragstellenden erhöht.
Kann die Stiftung sicherstellen, dass die Ergebnisse mit denen herkömmlicher Bewertungsverfahren vergleichbar sind?
Zugegeben, da sind noch viele Fragen offen. Daher haben wir gemeinsam mit unserem Kuratorium beschlossen, das DPR zunächst in der Förderinitiative "Aufbruch – Neue Forschungsräume für die Geistes‑ und Kulturwissenschaften" parallel zum bisherigen Panel Review Verfahren zu erproben. Dafür stellen wir zusätzliche Mittel zur Verfügung. Das bedeutet, dass am Ende sowohl aus dem Panel Review Verfahren als auch aus dem DPR Förderempfehlungen erfolgen.
Hanna Denecke leitet den Profilbereich "Exploration", in dem die Stiftung kreative, wagemutige und neugierige Wissenschaftler:innen fördert - und jetzt zum ersten Mal das neue Begutachtungsverfahren "Distributed Peer Review" testet.
Das klingt sehr aufwändig…
Ja, das bedeutet viel Arbeit für uns. Aber die parallelen Verfahren ermöglichen einen formalen Vergleich der beiden Begutachtungsprozesse hinsichtlich Qualität, Effizienz und Konsistenz. Dabei werden wir auch von Forschern des Research on Research Institute (RoRI) unterstützt: von Tom Stafford und Stephen Pinfield von der University of Sheffield.
Dabei ist es nicht unser Ziel, die Ergebnisse des Panel Review Verfahrens zu reproduzieren, ich erwarte nicht, dass die Ergebnisse der beiden Verfahren völlig identisch sein werden. Das wäre sicher auch dann nicht der Fall, wenn zwei Panelverfahren parallel durchgeführt würden. Wenn in den Verfahren unterschiedliche Anträge ausgewählt werden, sollte das also nicht als Mangel angesehen werden. Es könnten daraus aber zum Beispiel Erkenntnisse darüber gewonnen werden, welchen Bedeutung Diskussionen und Konsensfindung in den Jurysitzungen für den Auswahlprozess haben. Insofern werden die Ergebnisse auch nicht rein quantitativ bewertet, sondern durch qualitative Einschätzungen der Beteiligten ergänzt.
Und wie gehen Sie mit den Resultaten um?
Alle Ergebnisse werden wir natürlich öffentlich zur Verfügung stellen und diskutieren. Wir erproben, wie Forschungsförderung effizienter, effektiver und gerechter gestaltet werden kann. Damit auch einen Beitrag zur gesamten Diskussion um das Begutachtungssystem zu leisten, freut uns sehr.
Für die Antragstellenden bedeutet diese ungewöhnliche Ausschreibungsrunde mehr Aufwand – haben sie auch einen Nutzen davon?
Wir sind uns sehr bewusst, dass wir in dieser Ausschreibungsrunde von "Aufbruch" etwas mehr von den Antragstellenden verlangen als in der Vergangenheit. Sie verpflichten sich immerhin, bis zu fünf Anträge zu begutachten. Allerdings handelt es sich dabei um Kurzanträge und die Begutachtung wird anhand standardisierter Bewertungsbögen erfolgen. Darüber hinaus akzeptieren wir in dieser Runde nur Anträge in englischer Sprache.
Ein klarer Vorteil ist aber, dass im Rahmen dieses Experiments jeder Antrag ausnahmsweise zwei Chancen hat, eine Förderung zu erhalten – einmal über die traditionelle Begutachtung durch das Panel und dann auch über den DPR-Mechanismus. Außerdem kann die Begutachtung anderer Anträge gerade für Nachwuchswissenschaftler:innen sehr interessant und informativ sein. Und es ist doch auch positiv zu bewerten, Teil eines Experiments zu sein, das aus unserer Sicht eine hohe Relevanz für Innovationen im Peer Review System hat.
Rechnen Sie mit Vorbehalten aus der Wissenschaft?
Wie bei jedem Begutachtungsverfahren ist auch beim DPR mit Vorbehalten zu rechnen. Typische Bedenken sind, dass Gutachtende nicht über die notwendige Expertise für die vergebenen Anträge verfügen. Aber auch im Panel Verfahren können wir normalerweise nicht die komplette fachliche Breite der Anträge abdecken. Auch die Sorge vor Ideenklau mag aufkommen. Wir erwarten von allen Beteiligten, dass die Anträge vertraulich behandelt werden. Eine weitere Befürchtung könnte sein, dass Antragstellende systematisch schlechtere Bewertungen abgeben, um die Chancen des eigenen Antrags zu erhöhen. Das berücksichtigen wir so weit wie möglich, beispielsweise bei der Zuordnung der Anträge. Die Anträge werden außerdem anonym – double blind – begutachtet, damit ausschließlich der explorative Charakter und die Qualität der Forschungsidee bewertet werden.
Da beide Begutachtungsverfahren parallel laufen, werden aus unserer Sicht weder Antragstellende noch Disziplinen durch das Verfahren benachteiligt. Und im Rahmen der Evaluation werden diese Anliegen aufgegriffen und berücksichtigt.
Wird die Stiftung DPR künftig auch in anderen Initiativen einsetzen?
Die wissenschaftliche Begleitung und Auswertung unseres Experiments wird uns helfen, Einsatzmöglichkeiten, Herausforderungen und Potenziale zu benennen. Das Potenzial ist auf jeden Fall vorhanden.
