3.1 Motivation

Die erste Frage lautete „Was sind Ihre Beweggründe für die Betätigung als Gutachter*in?“ Hierbei wurde explizit nicht nach spezifischen Verfahren (etwa „Open Peer Review“) oder Publikationsorganen (etwa „bei der ZfdG“) gefragt.

Deutlich wird hier, dass die gutachterliche Tätigkeit nur für sehr wenige Forscher*innen eine Pflichtaufgabe ist; auch die – zugegeben etwas generische – Antwortmöglichkeit „Gewinn wissenschaftlicher Reputation“ wurde von weniger als einem Viertel der Befragten ausgewählt. Allerdings berühren auch andere Antwortmöglichkeit das Themenfeld der „wissenschaftlichen Reputation“ und wurden deutlich häufiger gewählt.

Gefragt wurde hier allgemein nach der Betätigung als Gutachter*in, was in den meisten Fällen ein anonymisiertes, vor der Veröffentlichung stattfindendes Begutachtungsverfahren meint. Die Antwort „Möglichkeit, Forschungsergebnisse vor ihrer Veröffentlichung zu rezipieren“ zielt dabei am stärksten auf einen tatsächlichen Wettbewerbsvorteil für die Gutachter*innen ab. Gleichzeitig trifft sie aber im Falle der Begutachtungen für Beiträge der ZfdG häufig gar nicht zu, da der Großteil unserer Beiträge erst nach ihrer Veröffentlichung begutachtet wird (vgl. Abb. 1). Als Gegenmodell zu dieser auf geschlossene (pre-publication) Peer-Review-Verfahren abzielenden Antwortmöglichkeit ist die Antwort „Interesse an Open Peer Review / redaktionellen Innovationen“ zu verstehen, die immerhin von 36 % der Antwortenden als motivierend für die gutachterliche Tätigkeit angegeben wurde. Ich deute dies auch als einen Hinweis an Redaktionen: Es scheint, zumindest in der DH-Community, eine nicht zu vernachlässigende Anzahl an Forschenden zu geben, für die die Gestaltung der Rahmenbedingungen ihrer Forschung – etwa der Publikationsbedingungen – von besonderem Interesse und die gegenüber neuen Verfahren aufgeschlossen ist. Diese Personen sehen sich etwa den Open Science-Grundsätzen verpflichtet und für sie kann das Engagement in diesem Bereich ausschlaggebender sein als Journal Impact Factor oder andere vermeintlich objektive bibliometrische Kennzahlen. So ist auch die von mehr als der Hälfte der Befragten gewählte Antwortmöglichkeit der „Unterstützung der Redaktion / des Publikationsorgans“ zu verstehen: Es geht hierbei nicht etwa darum, dass 54 % der Befragten sich der Redaktion einer Zeitschrift persönlich verpflichtet fühlen, sondern meines Erachtens eher darum, dass die Forschenden in der deutschsprachigen DH-Community ein Interesse an einer diversen Publikationslandschaft haben und deshalb etwa ein Projekt wie die ZfdG gern unterstützen möchten. Nicht zuletzt hat sich die Disziplin parallel zur Open-Access-Transformation des Publikationswesens etabliert, was mit einer verstärkten Reflexion und einer kritischen Haltung gegenüber den marktbeherrschenden Großverlagen einhergeht.

Noch stärker als die Verantwortung für die Rahmenbedingung und ein diverses Publikationswesen scheint in den deutschsprachigen DH allerdings der Zusammenhalt und das Bewusstsein für die Forschungscommunity zu sein; 77 % geben an, Begutachtungen aus Solidarität mit den Autor*innen und der Community zu übernehmen. Dass ein grundsätzliches Interesse am Thema des Beitrags (neben der entsprechenden Forschungsexpertise) vorliegen muss, um eine Begutachtung zu übernehmen, scheint auf der Hand zu liegen, deshalb überrascht die Top-Antwort nicht.

Die Frage nach dem Reputationsgewinn durch gutachterliche Tätigkeit hat sich damit erweitert; nicht nur für die einzelnen Forschenden kann sich das Engagement für die Community positiv auszahlen und im Sinne der Academic Citizenship Vernetzung und wissenschaftliche Reputation befördern; auch für eine Zeitschrift kann es – sofern sie es wie die ZfdG mit einer innovationsoffenen, in Teilen sehr im Sinne der Open Science engagierten Community zu tun hat – sinnvoll sein, offene Review-Verfahren anzuwenden, um die Forschenden für sie zu interessieren und von ihrem Engagement zu profitieren.

3.2 Eigenschaften von Open Peer Review

Bei der Evaluation sind wir allerdings nicht bei der Frage nach der Motivation der Reviewer*innen stehengeblieben, sondern haben auch danach gefragt, was die Teilnahme an Begutachtungsprozessen für Wissenschaftler*innen attraktiver machen könnte; hierbei sind wir von der Annahme ausgegangen, dass bestimmte Verfahrensweisen hin zu einem umfassend „offenen“ Peer Review den Reputationserwerb durch gutachterliche Tätigkeiten erleichtern können. Fadeeva und Korte stellen dies in ihrem Bericht über die Erkenntnisse aus dem Projekt AuROA (2023) folgendermaßen dar:

„Eine Möglichkeit zur Steigerung der Wertschätzung des Begutachtens bieten offene Review-Prozesse (Open Peer Review), darunter vor allem die beiden Öffnungsformen open identities (Namen von Gutachtenden sind – mindestens den Autor:innen – bekannt oder öffentlich) und open reports (Gutachten sind – mindestens für Autor:innen – zugänglich oder öffentlich). Wenn es möglich ist, die eigene Arbeit als solche zu kennzeichnen, kann sie als wissenschaftliche Leistung zurechenbar und als Arbeit öffentlich zugänglich gemacht werden. Dadurch würde ihr Wert für die Gutachter:innen entsprechend steigen und damit auch die Zeit und Mühe, die sie dafür aufwenden können. Des Weiteren wurde darauf hingewiesen, dass durch eine offene Arbeitsweise (Kollaboration von Gutachter:innen und Autor:innen) die Textverbesserung effizienter und einfacher werden kann“ (Fadeeva und Korte 2023, 13–14).

Auch die coAlition S hebt in ihrem Proposal Towards Responsible Publishing (2023) stark auf die Öffnung von Peer Review Prozessen als Möglichkeit für ein visionäres Publikationssystem abseits von kommerziellen Interessen ab:

„[…] we believe that making the peer review dialogue available will harness the corrective power of science.

The result of an open, post-publication review process is that those who are interested – such as fellow researchers, or grant application/tenure review committees etc. – can scrutinize and assess the work more effectively“ (Stern und Rooryck 2023).

Dabei muss betont werden, dass es weder eine einheitliche theoretische Definition von „Open Peer Review“ gibt, noch einen einheitlichen Standard, dem die Praxis folgt. Tony Ross-Hellauer hat in seinem grundlegenden Text What Is Open Peer Review? A Systematic Review (2017) sieben Eigenschaften von Open Peer Review identifiziert:

„Open identities: Authors and reviewers are aware of each other’s identity

Open reports: Review reports are published alongside the relevant article.

Open participation: The wider community are able to contribute to the review process.

Open interaction: Direct reciprocal discussion between author(s) and reviewers, and/or between reviewers, is allowed and encouraged.

Open pre-review manuscripts: Manuscripts are made immediately available (e.g., via pre-print servers like arXiv) in advance of any formal peer review procedures.

Open final-version commenting: Review or commenting on final ‚version of record‘ publications.

Open platforms (‚decoupled review‘): Review is facilitated by a different organizational entity than the venue of publication“ (Ross-Hellauer 2017; vgl. auch Fadeeva 2023).

Die Praxis zeigt, dass diese Eigenschaften sowohl auf unterschiedliche Art und Weise miteinander kombiniert werden als auch noch weiter ausdifferenziert werden können. So setzt die ZfdG die Aspekte „Open identities“ und „Open reports“ bereits teilweise um – im Normalfall wird im Single-Blind-Modus begutachtet (die Autor*innen sind den Gutachter*innen bekannt), in den beiden offenen Review-Verfahren (also „Open Peer Review“ und „Open Public Peer Review“) haben die Autor*innen außerdem die Möglichkeit, Gutachter*innen vorzuschlagen, also einen gewissen Einfluss auf die Auswahl der Gutachter*innen zu nehmen, ohne dass Ihnen die Identität des*der Gutachter*in schlussendlich bekannt ist. Als Teil der Gutachteninhalte wird die Gesamteinschätzung in Form einer Farbkodierung sichtbar gemacht; im Falle des Open Public Peer Review sind die gesamten Gutachteninhalte für alle einsichtig, da die Begutachtung in Form einer öffentlichen Kommentierung vorgenommen wird. Diese öffentlichste Form des Reviews steht allen Interessierten offen („Open participation“) und hier besteht sowohl für die Autor*innen, für weitere Gutachter*innen, für die Redaktion oder für Leser*innen die Möglichkeit, über Antworten auf bereits abgegebene Kommentare in einen Austausch zu treten („Open interaction“).

An diesen Ausführungen werden die Sub-Dimensionen der von Ross-Hellauer identifizierten Eigenschaften von Open Peer Review deutlich; für die Ausdifferenzierung in der redaktionellen Praxis kann es sinnvoll sein, dem Begriff der Offenheit (openness) noch den Begriff der Öffentlichkeit (publicity) an die Seite zu stellen, da Entscheidungen und Offenlegung in der kommunikativen Trias bestehend aus Autor*innen, Gutachter*innen und Leser*innen (Öffentlichkeit) getroffen bzw. an die einzelnen Akteur*innen dieser Konstellation durch die Redaktion in moderierender Funktion kommuniziert werden müssen. Außerdem spielt der Zeitpunkt der Kommunikation ebenfalls eine Rolle bei der Ausgestaltung offener Peer-Review-Verfahren.

Fragen, die sich im Redaktionsalltag deshalb stellen, lauten etwa: Wem gegenüber werden welche Informationen zu welchem Zeitpunkt des Prozesses offenbart? Wem gegenüber werden, zu welchem Zeitpunkt welche Möglichkeiten der (Inter-)Aktion eröffnet? Wer entscheidet darüber, mit welchem Grad der Öffnung bzw. Öffentlichkeit das Review-Verfahren durchgeführt wird? Welche Grenzen werden durch die technische Infrastruktur – etwa durch das Content-Management- oder Redaktionssystem oder z.B. das genutzte Annotationstool – gesetzt? Wie können die Entscheidungen, die während des Review-Prozesses getroffen werden, sinnvoll dokumentiert und nachvollziehbar dargestellt werden?

3.3 Open identities / Blindness

Im Sinne der Weiterentwicklung der Review-Verfahren der ZfdG haben wir uns deshalb gefragt, ob gegebenenfalls die Aufhebung der Anonymisierung der Review-Verfahren die Bereitschaft zur Begutachtung weiter steigern könnte; die Offenlegung der Identitäten von Gutachter*innen im Sinne der Ross-Hellauerschen Eigenschaft „Open identities“ kann dabei in unterschiedlichen Graden der Öffentlichkeit und zu unterschiedlichen Zeitpunkten erfolgen: Gutachterliche Identitäten können entweder gegenüber den Beitragsautor*innen, gegenüber den weiteren Gutachter*innen oder auch dem Publikum gegenüber offengelegt werden; dies kann verknüpft mit dem begutachteten Beitrag, mit der Veröffentlichung von Gutachteninhalten oder unabhängig vom Beitrag – z.B. in Form einer von den Beiträgen entkoppelten Liste der Gutachter*innen – geschehen. Denkbar ist außerdem, die Identität der Gutachtenden bereits bei Zusage für das Gutachten offenzulegen, während des Begutachtungsprozesses, nach abgeschlossener Begutachtung oder erst nach Abschluss des gesamten Review-Prozesses, wenn eine überarbeitete Version erschienen ist und gegebenenfalls ein revidiertes Gutachten vorliegt.

Aber ist die Offenlegung von Identitäten von den Gutachtenden überhaupt gewünscht? Immerhin antworten knapp 27 % auf die Frage, wo sie selbst ihre gutachterliche Tätigkeit angeben, mit „Nirgendwo“ (vgl. Abb. 3).

Die Entscheidung darüber, ob, wann und wo die Identität eines / einer Gutachter*in offengelegt wird, sollte nach unserem Dafürhalten bei den Gutachter*innen selbst liegen; liegt die grundsätzliche Entscheidung über den Zeitpunkt des Begutachtungsverfahrens doch bei den Autor*innen, muss sichergestellt werden, dass potenzielle Gutachter*innen nicht durch einen Offenlegungszwang abgeschreckt werden.

In der Umfrage gibt exakt die Hälfte der Befragten an, sich eher für die Veröffentlichung ihrer Identität zu entscheiden (Abb. 4; wobei der Grad der Offenheit bzw. Öffentlichkeit in diesem Fall nicht differenziert abgefragt worden sind). Die Beweggründe für diese Entscheidung mögen vielfältig sein. Da wir auch Daten zu Geschlecht (Abb. 5), Bildungsabschluss (Abb. 6) und Beschäftigungsverhältnis (Abb. 7) erfragt haben, konnten ich diese Faktoren auf die entsprechende Entscheidung beziehen.

Der Rückbezug der Entscheidungen für oder gegen die Namensnennung auf das Geschlecht und den Bildungsabschluss der Befragten ergab keine nennenswerten Abweichungen, auch hier entscheidet sich jeweils etwa die Hälfte der Befragten unabhängig von Geschlecht und Abschluss für bzw. gegen die Offenlegung der Identität. Anders sieht es allerdings aus, wenn man sich die Beschäftigungsverhältnisse der Befragten ansieht (Abb. 7).

Hier ist die Tendenz zu erkennen, dass eine prekäre Beschäftigung eher mit der Entscheidung für die Offenlegung der Identität einhergeht als eine unbefristete Anstellung. Die Daten sind aufgrund der kleinen und nicht kontrollierten Stichprobe nicht repräsentativ, zudem sind auch andere Interpretationsansätze denkbar, etwa, dass prekär Beschäftigte tendenziell jünger und damit eher offen für neue Verfahren sind als unbefristet Beschäftigte. Dennoch gibt die Tendenz erste Hinweise auf die Beweggründe für eine solche Entscheidung: Wenn man davon ausgeht, dass sich Konkurrenz zwischen Forschenden nicht auf (befristete) Qualifikationsstellen bezieht, sondern auf das Erreichen eines unbefristeten Anstellungsverhältnisses, bedeutet dies, dass für prekär Beschäftigte das Prinzip „Open identities“ mit der Hoffnung auf eine höhere Sichtbarkeit und die Nachweisbarkeit der gutachterlichen Tätigkeit insgesamt als karrierefördernder Faktor gesehen wird, wohingegen für unbefristet Beschäftigte den Schutz der eigenen Identität sowie die tradierte Verknüpfung von Blindness und Unabhängigkeit von Review-Verfahren eher überwiegen.

3.4 Weitere Dimensionen der Öffnung

Neben der Eigenschaft „Open identities“ und ihren Abstufungen wollten wir von dem*der potenziellen Gutachter*in außerdem erfahren, welche Öffnungsprozesse sie ansonsten dazu motivieren würden, häufiger an Begutachtungsverfahren teilzunehmen.

Dass hier ein Viertel der Befragten antwortet, dass keiner der genannten Aspekte zu häufigeren Begutachtungen motivieren würde, kann unterschiedliche Gründe haben – etwa, dass schlicht und einfach die Zeit fehlt, um mehr Gutachten zu übernehmen (vgl. Abb. 1); eine Antwort im Feld „Sonstiges“ aus dem englischsprachigen Fragebogen lässt allerdings aufhorchen:

„All the mentioned aspects would make me LESS likely to review; turning peer review into some reward-driven enterprise would destroy it“ (Antwort auf Frage 3 der Umfrage Field Evaluation on Peer Review: „Which of these aspects would motivate you to review more frequently in open review procedures?“ P11, 04.06.2024. In: Jansky und de la Iglesia 2024).

Während wir uns also in der Redaktion darüber Gedanken machen, wie wir die Qualitätssicherungsverfahren noch transparenter und gleichzeitig im Sinne der Gutachter*innen weniger aufwendig, bequemer und lohnenswerter zu gestalten, scheint es auch kritische Gegenpositionen zur Forderung nach Open-Peer-Review-Verfahren zu geben.

Interessanterweise ist die Top-Antwort hier die bereits zuvor erwähnte Möglichkeit der Veröffentlichung der gutachterlichen Identität unabhängig vom Beitrag in einer Gutachter*innenliste. Der generelle Nachweis der gutachterlichen Tätigkeit scheint also am wichtigsten zu sein. Außerdem sind Möglichkeiten der nichtöffentlichen Kollaboration und des direkten Austauschs gefragt; die Veröffentlichung von Gutachteninhalten hingegen ist kein Kernanliegen der Gutachter*innen. Gutachterliche Tätigkeit scheint also bei vielen als Teil ihrer Academic Citizenship durchaus reputationsträchtig, Gutachten allerdings nicht als eigenständige Publikationsform anerkannt zu sein zu sein.

Bei den Jahreskonferenzen des Verbands Digital Humanities im deutschsprachigen Raum e.V. wird gutachterliche Tätigkeit durch den Best-Review-Award, für den die Einreichenden ihre Reviewer*innen vorschlagen können, aufgewertet (vgl. Guhr u. a. 2022). Inwiefern ein solches Hervorheben von besonders qualitätvollen bzw. hilfreichen Gutachten eventuell auch eine zukünftige Option für die ZfdG ist und Gutachtende sich diese Form der Anerkennung wünschen, bleibt zukünftig auszuloten. Auch die Publikation von Gutachteninhalten unter eigenem DOI gilt es in Zukunft anzubieten, um auszuloten, inwiefern den Gutachten das Potenzial einer eigenständigen Publikationsform innewohnt.