Die Vermessung der Wissenschaft auf dem Prüfstand

1. Einleitung

1Das wissenschaftliche Publikationssystem hat im Laufe der Zeit eine Reihe von grundlegenden Transformationen erfahren, während dessen sich auch seine Rolle im Wissenschaftssystem verändert hat.¹ Zu den langfristig prägenden zählen neben jüngsten Entwicklungen wie Large Language Models und Co. (artificial intelligence, machine learning), die im Kontext wissenschaftlicher Wissensproduktion grundlegende, traditionelle Konzepte von Autorenschaft und geistigem Eigentum in Frage stellen, insbesondere die durchgreifende Kommerzialisierung des wissenschaftlichen Publikationsmarktes. Letztere Transformation wird nicht zuletzt im Kontext von Open Access seit geraumer Zeit intensiv diskutiert, wobei meist Geschäftsmodelle wie Article Processing Charges (APC) im Modell des Gold Open Access im Fokus stehen. Denn auch hohe APCs stellen eine sogenannte Paywall und somit einen Mechanismus dar, mit dem einige Großverlage (insbesondere sogenannte Data Analytics-Oligopole, siehe weiter unten) auf die Wandlung des Publikationssystems und drohende Einnahmeverluste reagiert haben. Eine der systemisch bedeutsamen, prägenden Entwicklungen in diesem Zusammenhang ist die Anwendung bibliometrischer Kennzahlen als Qualitätsmerkmal für wissenschaftliche Leistungen. Warum dieser, nicht unbedingt auf den ersten Blick offensichtliche Zusammenhang, problematisch ist, soll nachstehendes Zitat der Nobelpreisträgerin Katalin Karikó illustrieren:

We can do better. […] we might create a clearer distinction between markers of prestige – titles, publication records, number of citations, grant funding, committee appointments, etiquette, dollars per net square footage – and those of quality science. Too often we conflate the two, as if they’re one and the same. […] When Drew and I published our landmark Immunity paper, it barely got any notice. (Karikó 2023, 315, Kursivierung aus dem Original übernommen). ²

2Karikó kritisiert hier, dass bibliometrische Kennzahlen, wie der Journal Impact Faktor oder der h-Faktor (ex post-Indikatoren, d.h. nach der Publikation), zunehmend als Proxy für die Evaluation wissenschaftlicher Leistungsfähigkeit und als Qualitätsmerkmal verwendet werden. Angefangen hat die Vermessung³ der Wissenschaft in den frühen 1900er Jahren, in dieser Hinsicht wegweisend war die Publikation American Men of Science (Godin 2007). Im Fall von Texten geschieht dies z. B. in den STEM-Fächern in Form von Rankings wie den Journal Citation Reports (JCR), basierend auf dem Journal Impact Factor (Herb 2023, 320).

3In diesem Beitrag die Grenzen und Potenziale etablierter bibliometrischer Verfahren im Fokus und es wird kritisch hinterfragt, welche Alternativen sich zur Bewertung wissenschaftlicher Leistungen anbieten würden. Zentrale Fragen sind daher, warum bei der Verwendung bibliometrischer Kennzahlen für die Forschungsbewertung Vorsicht geboten ist, warum sie weniger objektiv sind, als es scheint und welche Alternativen vorhanden sind. Dabei liegt der Fokus auf dem Journal Impact Factor (JIF), einer der im Bereich der Forschungsbewertung beliebten bibliometrischen Indikatoren. Der Beitrag setzt mit einer kritischen Betrachtung des Entwicklungskontextes des JIF, seiner Aussagekraft und seiner umstrittenen Rolle bezüglich der Bewertung wissenschaftlicher Leistungen ein. Es wird hinterfragt, ob bibliometrische Kennzahlen wirklich nur „markers of prestige“ (Karikó 2023, 315) sind. Abschließend wird die Frage „Can we do better?“ aus dem Eingangszitat aufgenommen. Der Beitrag wirft mit Absicht voraussichtlich mehr Fragen auf als Antworten zu liefern.

2. Zum Hintergrund bibliometrischer Verfahren

4“To measure is to know. If you cannot measure it, you cannot improve it. Attributed, in various forms, to William Thomson, Lord Kelvin”
(zitiert nach Bawden & Robinson 2022, 207)

5Die Bibliometrie als quantitatives Verfahren zur Analyse von Dynamiken und Strukturen des wissenschaftlichen Publikationssystems fällt in den Bereich der Informetrie:

“Informetrics is usually taken to include several more specific subjects: bibliometrics, the study of quantitative aspects of published documentation; webometrics (also termed webliometrics or cybermetrics), the study of quantitative aspects of web resources; scientometrics, the quantitative study of the growth and change of academic disciplines, and altmetrics, assessing significance by measures not reliant on formal publication.” (Bawden und Robinson 2022, 207)

6Auch wenn strenggenommen das Anwendungsfeld der Bibliometrie veröffentlichte Quellen (Artikel, Bücher) sind, werden die Begriffe Bibliometrie und Informetrie oft synonym verwendet, weshalb die Abgrenzung der Anwendungsgebiete in der vorliegenden Literatur nicht immer eindeutig ist (Dorsch und Haustein 2023, 272). Die nachstehenden Ausführungen beziehen sich auf Bibliometrie im engeren Sinn.⁴

7Erste ernstzunehmende Anfänge der Bibliometrie finden sich in der ersten Hälfte des 19. Jahrhunderts mit Charles Babbage, der 1830 das Zählen von Urheberschaften (counting of authorship) als für die Feststellung wissenschaftlicher Exzellenz geeignet propagierte (Bawden und Robinson 2022, 208-9). Dieser Ansatz wurde jedoch schon von Zeitgenossen kritisch betrachtet (Bawden und Robinson 2022, 209). Die sich aus diesen Anfängen, u.a. unter der Bezeichnung „statistical bibliography” (Dorsch und Haustein, 2023, 272), entwickelnde Informetrie (informetric studie) bzw. Bibliometrie bekam einen entscheidenden Schub mit der Entwicklung sogenannter Zitationsindexe, populär gemacht durch Eugene Garfield, der zwischen 1961 und 1974 an seinem Institute for Scientific Information (ISI) entsprechende Services, wie den Science Citation Index (SCI), entwickelte (Bawden und Robinson 2022, 211, Dorsch und Haustein 2023, 272). Dieser und andere Indexe sind heute in das Clarivate Web of Science/Web of Knowlegde aufgegangen (Bawden und Robinson 2022, 211).

8Das den von Garfield entwickelten Zitationsindexen grundlegende Prinzip der Nachverfolgung von Zitationsnetzwerken und besonders wichtigen Publikationen (impact) hat nichts „Unehrenhaftes“ an sich, denn Zitationen sind eine wichtige „Währung wissenschaftlichen Einflusses“.⁵ Garfields grundlegende Idee war es, mit seinem Index ein Werkzeug für das Information Retrieval, d.h. für die Bewältigung des steigenden Publikationsaufkommens, zu schaffen, das aufgrund automatisierter Verlinkungen gegenüber der intellektuellen Indexierung Vorteile bot und darüber hinaus anhand der bibliographischen Metadaten bibliometrische Analysen auf verschiedenen Aggregations­ebenen erlaubte (Dorsch und Haustein 2023, 274). Problematisch ist jedoch, wie Garfield (und andere) dieses Prinzip und vor allem die Indexe weiterentwickelt haben. Garfield propagierte die Nutzung der vom ihm aggregierten Zitationsdaten für die Bewertung der Qualität von Zeitschriften – und in diesem Zuge und mit weitreichenden Folgen – für die Qualität von Wissenschaft (Bawden und Robinson 2022, 211).

9Wichtig für diese Entwicklung war Bradford’s Law of Scattering, das vereinfacht besagt, dass eine kleine Anzahl von Quellen eine große Anzahl von nützlichen Elementen hervorbringt; der sogenannte „Kern“ (core) (Bawden und Robinson 2022, 214, Dorsch und Haustein 2023, 273). Dieses Prinzip wird – zusammen mit anderen Prinzipien der Informetrie –, in der Praxis zum Beispiel zur Analyse wissenschaftlicher Felder, zum Aufbau von Sammlungen (collection management, Zeitschriftenerwerb) oder die Literaturanalyse angewendet (Bawden und Robinson 2022, 217-9). Sein umstrittenstes Anwendungsgebiet ist jedoch sein von Garfield propagierter Einsatz im Zuge der Entwicklung von bibliometrischen Faktoren für die Bewertung des Einflusses, bzw. der Qualität von Einzelpersonen, akademischen Abteilungen, Institutionen, Stipendiaten, Ländern, Zeitschriften, Websites und mehr durch Forschungsmanager und politische Entscheidungsträger, die diese heranziehen, weil sie glauben, damit ein kostengünstiges und scheinbar objektives Mittel zur Qualitätsbewertung gefunden zu haben, ohne die grundlegenden Prinzipien und Werkzeuge zu verstehen (Bawden und Robinson 2022, 219):

„In der Praxis finden bibliometrische Methoden in der Forschungsevaluation Anwendung. Hier kann man zwischen großangelegten professionellen Studien und Laiennutzung unterscheiden. Letztere findet oft auf der Ebene individueller Wissenschaftler*innen statt, basiert meist auf schnell verfügbaren, aber unangemessenen Indikatoren (z. B. h-Index, JIF) und resultiert in Rankings.“ (Herb 2023, 320)

10In folgenden Abschnitt wird exemplarisch aufgezeigt, dass die Anwendung des oft bei Zeitschriften als Qualitätsmaßstab herangezogenen Journal Impact Factors (JIF) auf der Ebene der Bewertung der Qualität individueller Autor*innen im Wissenschaftsbetrieb (z. B. für Berufungen, Preise oder im Kontext der Forschungsförderung) statistisch problematisch ist (Dorsch und Haustein 2023, 272) und wie fraglich die damit verbundenen Messinstrumente des wissenschaftlichen Reputationssystems bzw. die systemischen Abhängigkeiten von selbigen sind. Exemplarisch deshalb, weil auch andere weit verbreitete, quantitative Faktoren, wie z. B. der sogenannte h-Faktor, ähnlich problematisch sind (Dorsch und Haustein 2023, 275).

2.1. Messen I: Potenziale und Grenzen bibliometrischer Faktoren am Beispiel des Journal Impact Factors (JIF)

11“Messen ist immer auch Ausdruck von Macht.”
(Die Junge Akademie, 2020)

12Der Journal Impact Factor (JIF) wird oft mit der Relevanz und dem Prestige der jeweiligen Zeitschrift als Publikationsort gleichgesetzt. Der ursprünglich als Zitationsindikator für wissenschaftliche Zeitschriften entwickelte JIF wurde trotz eindeutiger methodischer Unstimmigkeiten zunehmend für die Messung von Forschungsleistung und Qualität individueller Publikationen oder Autor*innen (impact) eingesetzt und entwickelte sich zu einem klassischen Beispiel für den Missbrauch bibliometrischer Indikatoren (Dorsch und Haustein 2023, 274). Eine aktuelle Erhebung zur Rolle verschiedener bibliometrischer Faktoren im österreichischen Hochschulsystem (Österreichischer Wissenschaftsrat, 2020) zeigt, dass der JIF trotz kritischer Stimmen noch nicht ausgedient hat, sondern im Hochschulsystem breite Anwendung findet. Daher bleiben die Fragen aktuell, wie es dazu kommen konnte und warum sich der JIF nicht als objektives Instrument für die Einstufung und den Vergleich von Zeitschriften und damit die Messung der Forschungsstärke von Individuen eignet.

13Um diese Fragen zu beantworten, ist es notwendig zu Bradford’s Law of Scattering zurückzukehren. Die Regelmäßigkeit von Bradford’s Law bedeutet übertragen auf den Zeitschriftenerwerb im bibliothekarischen Kontext, dass ein Themengebiet mit einer geringen Auswahl von Zeitschriften (journals) relativ gut abgedeckt werden kann (Dorsch und Haustein 2023, 273). Simon Garfield übertrug dieses Hauptprinzip von Bradford’s Law jedoch mit dem nach ihm benannten Garfield’s law of concentration auf die Ebene der Zitationen pro Zeitschrift als Grundlage für die Entwicklung seines SCI (Dorsch und Haustein 2023, 273). Garfield’s law of concentration besagt: „dass über alle wissenschaftlichen Fachbereiche hinweg eine geringe Anzahl von ca. 500 bis 1 000 Journalen 80 % aller Referenzen beinhalten. Dies ermöglichte es Garfield, den SCI ökonomisch mit einer geringen Anzahl von Zeitschriften zu entwickeln (Garfield 1972)“ (Dorsch und Haustein 2023, 273).⁶

14Der von Garfield für den SCI entwickelte Journal Impact Factor (JIF) ist jedoch aus bibliometrischer Sicht problematisch, da er gegen die Prinzipien der Validität, Fairness, Nützlichkeit und Zuverlässigkeit verstößt:

“Wenn wir uns mit der Frage auseinandersetzen, ob ein Indikator auch das misst, was er vorgibt zu messen, sprechen wir von Validität. Fairness beschreibt, ob ein Indikator frei von jeglicher Verzerrungen [sic] ist. Nützlichkeit beschreibt inwieweit ein Indikator wesentliche Informationen produzieren kann. Im Sinne der Reproduzierbarkeit gibt die Zuverlässigkeit an, ob der Indikator unter vergleichbaren Umständen immer zu ähnlichen Ergebnissen kommt.” (Dorsch und Haustein 2023, 274)

15Garfield brauchte für den möglichst effizienten Betrieb des SCI eine Grundlage, um die meistzitierten Zeitschriften eines Fachbereiches zu identifizieren und entwickelte dafür relativ ad hoc den JIF als einen von der Zeitschriftengröße (d.h. Anzahl der Publikationen) unabhängigen Zitationsindikator (Dorsch & Haustein 2023, 274-5).

Abbildung 1: Berechnung des JIF (Quelle Abbildung Wikipedia Contributors 2024)

16Die Formel (Abb. 1) sagt aus, dass der JIF berechnet wird, indem die Anzahl der Zitationen im Bezugsjahr in Bezug auf alle Publikationen der vorangegangenen Jahre durch die Anzahl aller Publikationen (d.h. konkret die Anzahl aller zitierbaren Dokumente) der zwei vorangegangenen Jahre geteilt wird. Wobei letztere Zahl aus einer nicht öffentlich zugänglichen (proprietären) Datenbank stammt (Wikipedia 2024).

17Problematisch sind u.a. das kurze Zitationsfenster (zwei Jahre ist für viele Disziplinen nicht ausreichend), die Asymmetrie zwischen Zähler und Nenner (Zähler = Zitationen für alle Dokumenttypen, wie Editorials oder Briefe an den*die Editor*in, Nenner = zitierbare Dokumente, wie Forschungs- und Übersichtsartikel) und die Nutzung des arithmetischen Mittels (keine Normalverteilung für Zitationen) (Dorsch und Haustein 2023, 274-5). Dies zeigt, dass der JIF keineswegs ein präzises quantitatives Messinstrument ist, sondern höchstens Tendenzen aufzeigt, die von Experten*innen interpretiert werden sollten, um Missverständnisse zu vermeiden (Dorsch und Haustein 2023, 274).

18Zusätzlich zu den Verzerrungen durch diese methodischen Unstimmigkeiten hatte der SCI selbst von Anfang an einen starken selection bias, denn die Selektion erfolgte nicht zuletzt aufgrund dessen, was Simon Garfield kannte, und seinen kommerziellen Interessen im Zusammenhang mit seinem anderen brain child, den Current Contents (ein anderes bibliographisches Produkt), und drückte sich durch eine Priorisierung anglophoner und US-amerikanischer Zeitschriften aus, d.h. im Gegenzug fand eine Diskriminierung von Zeitschriften aus dem Global South statt und entsprechend fanden nur wenige europäische Zeitschriften Eingang in den Index (Mills 2024, 6). Außerdem wird der JIF wegen möglicher systemischer Auswirkungen kritisch betrachtet. So warnte Robert K. Merton schon frühzeitig vor seinen Konsequenzen, z. B. durch Missbrauch bzw. Manipulation, aber auch andere kritische Stimmen wurden frühzeitig laut (Csiszar 2020, 34, Mills 2024, 6-7).

19Die Sinnhaftigkeit der Anwendung bibliometrischer Kennzahlen, wie des Journal Impact Factor (zusammen mit Anzahl der Publikationen oder Anzahl der Zitationen), als Qualitätsmerkmal, wird in der Fachliteratur kontrovers diskutiert.⁷ Sie sind nicht zuletzt aufgrund von fachlichen Unterschieden bzgl. Zitierhäufigkeiten und Publikationskulturen für Vergleiche ungeeignet. Der SCI machte es jedoch miteinander konkurrierenden Universitäten, Wissenschaftler*innen und Verlage verlockend einfach, sich miteinander zu vergleichen und ebnete den Weg für Mechanismen, die darauf angelegt sind, sich gegenseitig auszuspielen (Mills 2024, 7).

3. Vermessen? Alternativen zur quantifizierenden Bewertung wissenschaftlicher Leistungen

26Der unsachgemäße Einsatz bibliometrischer Kennzahlen wie JIF oder h-Index ist aus verschiedenen Gründen problematisch. JIF und h-Index sind keine objektiven Messinstrumente, denn sie berücksichtigen u.a. keine unterschiedlichen Publikationskulturen, so ist die Rolle von Zeitschriftenartikeln in den Naturwissenschaften, der Medizin, oder den Sozialwissenschaften größer als z. B. in den Geisteswissenschaften, auch tendieren Mediziner*innen im Vergleich zu anderen Fachdisziplinen generell dazu, mehr zu publizieren (Dorsch und Haustein 2023, 271, 275, Koenig 2023, 92). Quantifizierende Publikationsindikatoren setzen Fehlanreize mit teilweise weitreichenden Folgen für das Publikations- und Wissenschaftssystem, wie z.B. Veränderungen des Publikationsverhaltens in Richtung internationale, englischsprachige Zeitschriften mit einem hohen JIF und entsprechender Indexierung in kommerziellen Datenbanken, Rückgang der Bibliodiversität, z. B. durch weniger Veröffentlichungen in Landessprachen und zu regionalen Themen in nationalen Outlets (Dorsch und Haustein 2023, 277-8). Dazu kommt die (unbeabsichtigte) Stimulierung bzw. Gratifikation unethischen Publikationsgebarens zur Steigerung der Publikationsleistung, wie z. B. durch sogenannte Salami-Publishing-Strategien, Ehrenautorschaften, Ghostwriting, Selbstzitationen oder Zitationskartelle (Dorsch und Haustein 2023, 277-8). Auch wurde aufgezeigt, dass die Data-Analytics-Oligopole (Großverlage) und die mit ihnen eng verbandelten quantitativen Index- und Rankingwerkzeuge vor allem Interesse an vielen Publikationen haben, aber nicht unbedingt an der Qualität derselbigen.

27Das Festhalten an Forschungsleistungsindikatoren wie dem JIF ist nicht nur methodisch diskutabel, sondern es bringt die Wissenschaft auch in Abhängigkeit (Vendor Lock-In) von selbsternannten kommerziellen Gatekeepern wie Clarivate (als internationales Oligopol für akademische Datenbanken und bibliografische Softwarelösungen), Thomson Reuters oder Elsevier, wobei letztere Data Analytics-Oligpole zusätzlich wegen fragwürdiger Datentrackingmethoden in der Kritik stehen (AWBI 2021). Es bringt weitere Gefahren der Verzerrung mit sich, z. B. der sogenannte Matthäus-Effekt (engl. Matthew-effect, Rossiter 2003), da es oftmals viel (!) Geld kostet, in den in diesen Instrumenten indexierten und oftmals durch die gleichen Konzerne verlegten hochrangigen Zeitschriften zu publizieren. Auch werden dadurch (neu entstehende) DOA-Zeitschriften benachteiligt, entsteht eine generell hohe finanzielle Belastung des Wissenschaftssystems, wird der Zugriff auf Inhalte und die informationelle Selbstbestimmung gefährdet (AG Publikationswesen der Deutschen Forschungsgemeinschaft 2022, 29-30).

28Das Problem scheint offensichtlich. Im Folgenden soll ein kurzer Überblick über Alternativen, Implikationen und Empfehlungen gegeben werden, um sich dann der Antwort auf die eingangs gestellte Frage „Can we do better?“ zu nähern.⁸ Der Überblick basiert auf dem vorhergehenden, sowie relevanten mit einiger Regelmäßigkeit erscheinenden Empfehlungen für Akteure, die sich in dieser Landschaft bewegen (zuletzt Colbert-Lewis et al. 2024), und legt dabei als eigenen Schwerpunkt den Fokus auf die kritische Diskussion der Erfolgsaussichten.

4. Resümee: Informieren, Stellung beziehen und Critical Information Literacy

35Bibliometrische Methoden sind an sich kein Teufelswerk, verantwortungsvoll eingesetzt, sind sie Forschungsmethoden wie andere auch, mit allen Vorzügen und Nachteilen (Österreichischer Wissenschaftsrat 2020, 85-90). Das Bewusstsein muss jedoch breiter dafür geschärft werden, dass es sich um komplexe Verfahren handelt, deren Einsatz Expertise und Verantwortungsbewußtsein voraussetzt, nicht zuletzt, weil wir es mit flawed instruments zu tun haben. Zusätzlich muss das Verständnis dafür gestärkt werden, dass quantitative Metriken nicht neutral sind, wie Phänomene wie Mathilda Effekt, Matthäus Effekt oder citation bias zeigen (Rossiter 2003), und ihre Verwendung sollte nicht der Verantwortung des (be-)wertenden Lesens entheben.

36Wissenschaftler*innen haben an den momentanen Abhängigkeiten und der aktuellen Ausprägung der Reputationsökonomie (in der Form „metrisierter Reputationskonkurrenz“, Reitz 2023, 38) mitgearbeitet. Es ist daher wichtig, dafür zu sorgen, dass diese sich nicht noch weiter durchsetzen und gemeinsam gerechte und praxistaugliche Alternativen zu etablieren. Dazu gehört nicht zuletzt viel Lobbyarbeit (eng. advocacy) beruhend auf Informationen zu Gefahren und Handlungsspielräumen: „Eine Faire und verantwortungsvolle Nutzung und Aufklärung über die Grenzen bibliometrischer Indikatoren sollte daher an erster Stelle stehen.“ (Dorsch und Haustein 2023, 278, Colbert-Lewis 2024, 13-5)

37Es liegen viele Forschungsergebnisse vor, die für abstraktere Bewertungskriterien sprechen, wie quality oder impact on society, die die Vielfalt der möglichen Äußerungsformen und Aktivitäten gerechter einbeziehen und somit zur Diversität von Academia beitragen würden. Ein entscheidender Schritt sollte demnach sein, beharrlich Entscheidungsträger*innen im Sinne einer critical information literacy (Bawden und Robinson 2022, 336-7) die Fallstricke quantitativer Metriken noch besser begreifbar und relevant zu machen.²³ Hiermit sind insbesondere Gremien der akademischen Selbstverwaltung, Präsidien, Senate, Fachbereiche, Berufungskommissionen etc., letztendlich alle Wissenschaftler*innen, bis hin zu mit diesen Themen befassten Teilen der professionellen akademischen Verwaltung, aber auch Ministerien, gemeint. Zu einer critical information literacy und zur Wahrnehmung der Führungspositionen in der Wissenschaft gehört eben auch die Kenntnis der einschlägigen Positionspapiere der DFG zu CoARA etc.

“Was aber ist nun der Nährwert solcher Positionspapiere? Wo sie doch die meisten von uns, die wir durch die DFG selbstverwaltet werden, gar nicht lesen? Ich denke, dass man deren Wirkung nicht unterschätzen darf. Zum einen, weil sich die DFG damit selbst zur Reform verpflichtet – tatsächlich wurden erste Schritte bereits eingeleitet. Zum anderen, weil die Mitglieder der DFG damit auf die Ziele ihres Vereins eingeschworen werden. Schließlich ist man Vereinsmitglied. Und der Verweis auf Statements der DFG kann in universitären Gremien wahre Wunder bewirken.” (Dirnagl 2022)

38Die Sinnhaftigkeit quantitativer Bewertungskriterien für die Bewertung von Forschungsleitungen und Forschungsqualität ist aus wissenschaftlicher Sicht zweifelhaft und das System ist momentan durch „steigende Publikationszahlen und das auf Publikationskennziffern beruhende Reputationssystem“ überbelastet (Herb 2023, 324, Bahr 2024) und noch dazu im Knebelgriff kommerzieller Data Analytics-Oligopole, die sich als Wissenschaftsverlage tarnen. Ohne Entschleunigung kommt auch das Peer Review nicht mehr hinterher und damit die qualitative Qualitätssicherung, die gerade im Zeitalter des Einsatzes von generativer KI (LLMs) aktueller ist, denn je. Um dies zu erreichen, muss aber ein noch umfangreicheres Umdenken einsetzen, Denkansätze haben Initiativen wie #ichbinHanna (Bahr et al. 2022) oder Mitglieder der Jungen Akademie (z. B. Erb 2017, Die Junge Akademie 2020) bereits vorgelegt. Es sollte deutlich geworden, dass es um mehr geht als ein paar Kennzahlen. Last but not least, Bibliotheks- und Informationswissenschaftler*innen haben hier eine wichtige Aufgabe, aber die Wissenschaftsfreiheit geht alle an (Heimstädt 2024). Selbst wenn die existierenden bibliometrischen Systeme verbessert werden (inklusiver, transparenter) und der momentane Fokus auf bestimmte Formate bzw. Forschungsprodukte – im Falle der klassischen Bibliometrie insbesondere Zeitschriften bzw. Zeitschriftenartikel – durch alternative Faktoren und Rankings aufgebrochen wird, z. B. durch Altmetrics, erscheint es weiterhin wichtig, die Sinnfrage zu stellen. Einerseits besteht durch verschiedene Ausprägungen und Traditionen der Wissenschaftskommunikation die Gefahr, sprichwörtlich Äpfel mit Birnen zu vergleichen, und die verschiedenen Fächer und Disziplinen gegeneinander auszuspielen, sowie andererseits das Gaming der Faktoren zu stimulieren.

Literatur

1. AG Publikationswesen der Deutschen Forschungsgemeinschaft. 2022. Wissenschaftliches Publizieren als Grundlage und Gestaltungsfeld der Wissenschaftsbewertung. Deutsche Forschungsgemeinschaft (DFG), https://doi.org/10.5281/zenodo.6538162.
2. Asubiaro, Toluwase, Sodiq Onaolapo und David Mills. 2024. Regional disparities in Web of Science and Scopus journal coverage. Scientometrics 129, Nr. 3: 1469–1491. https://doi.org/10.1007/s11192-024-04948-x.
3. Ausschuss für Wissenschaftliche Bibliotheken und Informationssysteme (AWBI). 2021. Datentracking in der Wissenschaft: Aggregation und Verwendung bzw. Verkauf von Nutzungsdaten durch Wissenschaftsverlage. Ein Informationspapier des Ausschusses für Wissenschaftliche Bibliotheken und Informationssysteme der Deutschen Forschungsgemeinschaft, 28. Oktober 2021. Deutsche Forschungsgemeinschaft (DFG). https://doi.org/10.5281/zenodo.5900759.
4. Bahr, Amrei. 2024. Wie die Wissenschaft sich selbst in Ketten legt: Von Großverlagen und Drittmitteln. Arbeit in der Wissenschaft. 5. November. https://arbeitinderwissenschaft.substack.com/p/wie-die-wissenschaft-sich-selbst (zugegriffen: 17. Dezember 2024).
5. Bahr, Amrei, Kristin Eichhorn und Sebastian Kubon. 2022. #IchBinHanna: prekäre Wissenschaft in Deutschland. Edition Suhrkamp. Berlin: Suhrkamp.
6. Bawden, David und Lyn Robinson. 2022. An introduction to information science. 2. Auflage. London: Facet.
7. Bosman, Jeroen. 2024. „@petersuber They seem to say that a journal's citation numbers as measured by JIF are unrelated to a journal's quality, with which I agree, but then also state that the binary fact of having been selected for WoS inclusion, as reflected by having a JIF or not is a sort of guarantee for being a quality journal. That then depends on the 24/28 criteria that are important but mostly technical and format related, with only a few (peer review, citations) related to content, and then only indirectly.“ 20. Juni 2024, 22:48. https://akademienl.social/@jeroenbosman/112650910941661730.
8. Brembs, Björn, Katherine Button und Marcus Munafò. 2013. Deep impact: unintended consequences of journal rank. Frontiers. Human Neuroscience 7. https://doi.org/10.3389/fnhum.2013.00291.
9. Clarivate. 2024. Editorial selection process | Clarivate. Clarivate. https://clarivate.com/academia-government/scientific-and-academic-research/research-discovery-and-referencing/web-of-science/web-of-science-core-collection/editorial-selection-process/ (zugegriffen: 19. Dezember 2024).
10. CoARA (2022) The Agreement on Reforming Research Assessment 20 July 2022, https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf
11. Colbert-Lewis, Danielle, Lawrence Maminta, Kelly McElroy, Graeme Slaght und Mark Swartz. 2024. „The Citation Economy As a Site of Extraction for Surveillance Publishing”. Canadian Journal of Academic Librarianship 10 (December): 1-22. https://doi.org/10.33137/cjal-rcbu.v10.43293.
12. Csiszar, Alex. 2020. Gaming Metrics Before the Game: Citation and the Bureaucratic Virtuoso. In: Gaming the Metrics: Misconduct and Manipulation in Academic Research, hg. von Mario Biagioli und Alexandra Lippman, 31–42. Infrastructures Series. The MIT Press. https://doi.org/10.7551/mitpress/11087.001.0001.
13. Dirnagl, Ulrich. 2022. „Spät kommt Ihr, doch Ihr kommt! Der weite Weg, DFG, entschuldigt Euer Säumen. Blog. Labor Journal Blog. 12. Dezember. https://www.laborjournal.de/rubric/narr/narr/n_22_12.php (zugegriffen: 20. Dezember 2024).
14. Dorsch, Isabelle und Stefanie Haustein. 2023. Bibliometrie (B 11). In: Grundlagen der Informationswissenschaft, hg. von Rainer Kuhlen, Dirk Lewandowski, Wolfgang Semar, und Christa Womser-Hacker, 271–280. Berlin ; Boston: De Gruyter. https://doi.org/10.1515/9783110769043-023.
15. Erb, Tobias J. 2017. Kommentar: Impact? Warum der wissenschaftliche Nachwuch nicht an seinen Zitationen gemessen werden sollte. Die Junge Akademie Magazin 23: 30–31.
16. Gehring, Petra. 2023. Angenommen, das Wissenschaftlertracking ist die Spitze - was ist dann der Eisberg. In: Open Access – DEAL – Wissenschaftlertracking: Das wissenschaftliche Publikationssystem im Wandel, hg. von Uwe Schimank, 43–90. Wissenschaftspolitik im Dialog 24/2023. Berlin: BBAW. https://www.bbaw.de/files-bbaw/publikationen/wissenschaftspolitik_im_dialog/WiD_24/BBAW_WiD_24.pdf. (zugegriffen: 20. Dezember 2024).
17. Godin, Benoît. 2007. From Eugenics to Scientometrics: Galton, Cattell, and Men of Science. Social Studies of Science 37, Nr. 5: 691–728. https://www.jstor.org/stable/25474544 (zugegriffen: 20. Dezember 2024).
18. Hartman-Caverly, Sarah und Alexandria Chisholm, Hrsg. 2023. Practicing privacy literacy in academic libraries: theories, methods, and cases. Chicago, Illinois: Association of College and Research Libraries.
19. Herb, Ulrich. 2023. Verfahren der wissenschaftlichen Qualitäts-/Relevanzsicherung/ Evaluierung (B 15). In: Grundlagen der Informationswissenschaft, hg. von Rainer Kuhlen, Dirk Lewandowski, Wolfgang Semar, und Christa Womser-Hacker, 317–326. Berlin; Boston: De Gruyter. https://doi.org/10.1515/9783110769043-027.
20. Heimstädt, Maximilian. 2024. Wissenschaftsverlage, Datentracking und die Freiheit der Forschung. iRights.info. 12. November. https://irights.info/artikel/wissenschaftsverlage-freiheit-forschung/32411 (zugegriffen: 16. Januar 2025).
21. Die Junge Akademie. 2020. Stellungnahme: Anreiz-Problematiken in der Wissenschaft. Die Junge Akademie, https://www.diejungeakademie.de/media/pages/publikationen/anreiz-problematiken-in-der-wissenschaft/744f7c1a81-1670257378/20200922_stellungnahme_anreize_final.pdf (zugegriffen: 17. Dezember 2024).
22. Karikó, Katalin. 2023. Breaking Though: My Life in Science. New York, Crown.
23. Koenig, Matthias. 2023. Zur Reform der Forschungsbewertung: Initiativen und Perspektiven. Beiträge zur Hochschulforschung 45, Nr. 2: 92–98.
24. Kreysing, Matthias. 2008. Forschungsförderung mittels leistungsorientierter Mittelvergabe. In: Bilanz und Perspektiven der leistungsorientierten Mittelverteilung: Analysen zur finanziellen Hochschulsteuerung (Arbeitspapier Nr. 111), hg. von Sigrun Nickel und Frank Ziegele, 97–105. CHE. https://www.che.de/download/che_ap111_analyse_leistungsorientierte_mittelverteilung-pdf/. (zugegriffen: 20. Dezember 2024).
25. Mills, David. 2024. „One Index, Two Publishers and the Global Research Economy.” Oxford Review of Education, Mai, 1–16. https://doi.org/10.1080/03054985.2024.2348448.
26. Oransky, Ivan. 2024. Evolution journal editors resign en masse to protest Elsevier changes. Retraction Watch. 27. Dezember. https://retractionwatch.com/2024/12/27/evolution-journal-editors-resign-en-masse-to-protest-elsevier-changes/ (zugegriffen: 30. Dezember 2024)
27. Österreichischer Wissenschaftsrat. 2020. Vom Messen und gemessen werden: Potentiale & Grenzen bibliometrischer Methoden. https://www.wissenschaftsrat.ac.at/archive/downloads/Bibliometrie_23_09_20_Endversion.pdf (zugegriffen: 30. Dezember 2024).
28. Reitz, Tilman. 2023. Open-Access, DEAL-Verhandlungen und Wissenschaftsfreiheit. In: Open Access – DEAL – Wissenschaftlertracking: Das wissenschaftliche Publikationssystem im Wandel, hg. von Uwe Schimank, 9–42. Wissenschaftspolitik im Dialog 24/2023. Berlin: BBAW. https://www.bbaw.de/files-bbaw/publikationen/wissenschaftspolitik_im_dialog/WiD_24/BBAW_WiD_24.pdf (zugegriffen: 20. Dezember 2024).
29. Quaderi, Nandita. 2024. Quality and trust over impact. Research Information. 20. Juni. https://www.researchinformation.info/analysis-opinion/quality-and-trust-over-impact/ (zugegriffen: 19. Dezember 2024).
30. Rossiter, Margaret W. 2003. Der Matthäus Matilda-Effekt in der Wissenschaft. In: Zwischen Vorderbühne und Hinterbühne, hg. von Theresa Wobbe, 191–210. Interdisziplinäre Arbeitsgruppen Forschungsberichte 12. transcript Verlag. https://www.degruyter.com/document/doi/10.1515/9783839401187-008/html.
31. Suber, Peter (@petersuber). 2024. „#Clarivate says that in the 70s, „The terms ‚high quality‘ & ‚high impact‘ were often used interchangeably.“ It admits that times have changed. „As chasing publications & citations have…become goals in themselves, we can no longer assume that the ‚best‘ journals are the most highly cited.“ It now subjects all journals to „rigorous quality criteria“. As a result, it says, the journal impact factor (#JIF) is now „a marker of quality, not just of scholarly impact.“ […]“, Mastodon, 20. Juni 2024, 22:02. https://fediscience.org/@petersuber/112650730757664448 (Start des Threads)
32. Suber, Peter (@petersuber). 2024. „This doesn't follow. Even if all journals with JIFs now meet certain quality criteria, it wouldn't follow that the #JIF was itself a marker of quality. It still measures citations, not quality. Two journals of equal quality could have very unequal JIFs, and two journals with equal JIFs could have very unequal quality. BTW, here are the quality criteria Clarivate applies to journals. […] Mastodon, 20. Juni 2024, 22:07. https://fediscience.org/@petersuber/112650752910459778.
33. Tetsch, Larissa. 2024. Schub für Transparenz und Offenheit. Blog. Labor Journal Blog. 23. Mai. http://www.laborjournal.de/editorials/3000.php (zugegriffen: 20. Dezember 2024).
34. Wikipedia Contributors, „Impact factor,“ Wikipedia, The Free Encyclopedia, https://en.wikipedia.org/w/index.php?title=Impact_factor&oldid=1264403027 (zugegriffen: 31. Dezember 2024).