Messen, zählen, wiegen – Vom Journal Impact Factor zu den Responsible Metrics in den Naturwissenschaften

1. Einführung

1„Man muss messen, was messbar ist, und messbar machen, was noch nicht messbar ist.“
Galileo Galilei zugeschrieben.

2„Das ist ja das Schöne an den Naturwissenschaften, da braucht man keine Meinung, wir brauchen Messungen.“
Harald Lesch (2024)

3In den Naturwissenschaften wird gezählt, gemessen und gewogen. Den Wissenschaftler:innen sind quantitative Methoden so vertraut, dass es ihnen ganz selbstverständlich ist, ihre eigenen wissenschaftlichen Leistungen zu messen oder messen zu lassen. Viele der heute häufig genutzten Methoden der Forschungsbewertung stammen aus der Bibliometrie. Dabei entstand die Bibliometrie ursprünglich in der Bibliothekswissenschaft. Man wollte die Nutzung bibliothekarischer Materialien und Dienstleistungen mit mathematisch-statistischen Methoden analysieren, um beschränkte finanzielle Mittel effizienter einsetzen und neue Angebote machen zu können (Reitz 2021).

4Als vermessende Lehre arbeitet die Bibliometrie quantitativ, sie bewertet also im Sinne des Qualitätsmanagements zum Beispiel die Anzahl der Publikationen einer Institution binnen eines Jahres. Der quantitative Beitrag der Bibliometrie zur Forschungsbewertung mittels Indikatoren ergänzt definitionsgemäß und in der Theorie die qualitative Bewertung zum Beispiel mittels Peer Review.

5Zwei Annahmen werden in der Bibliometrie zu Grunde gelegt:

1. Publizieren ist das zentrale Element wissenschaftlicher Arbeit.
2. Zitationen zeigen, wie wissenschaftliche Arbeit wahrgenommen wird.

7Aus beiden Größen, der Anzahl an Publikationen und der Zahl an Zitationen für diese Publikationen, leitet die bibliometrische Theorie den wissenschaftlichen Impact eines Publikationsorgans, einer Institution, Arbeitsgruppe, Einzelperson oder einer Publikation ab. Der englische Begriff impact darf in diesem Zusammenhang nicht mit influence gleichgesetzt werden. Eine Zitation repräsentiert die Wirkung, die eine Publikation erzeugt hat, nicht den Einfluss, den sie ausgeübt hat oder gar in der Zukunft ausüben wird. Reputation wird in der bibliometrischen Theorie durch Zitationen nicht erzeugt.

8Garfield entwickelte den Journal Impact Factor (JIF) 1955 als Metrik für den Einfluss von (zunächst nur) naturwissenschaftlichen und medizinischen Zeitschriften. 2005, also ein halbes Jahrhundert später, führte der Physiker Hirsch den nach ihm benannten h-Index für Personen ein. Dies war eine gezielte Aktion gegen den Einsatz des JIF, also einer Zeitschriftenmetrik, für Personen, der sich ab den 1970er Jahren schnell eingebürgert hatte. Auch bei der unangebrachten Verwendung des JIF für Personen hatten die Naturwissenschaften und die Medizin eine Vorreiterrolle übernommen. Mit den Journal Citation Reports, in denen jährlich das JIF-Ranking der Zeitschriften publiziert wird, steht das ideale Instrument – hinter der Bezahlwand – zur Verfügung. Und hier kommt auch das erste Mal Reputation ins Spiel, zunächst die von Zeitschriften. Erleichtert wurde und wird die Fokussierung auf eine Zeitschriftenmetrik, da die wissenschaftliche Kommunikation in den Naturwissenschaften traditionsgemäß hauptsächlich über Zeitschriftenaufsätzen erfolgt (Haustein 2010). In Ermangelung einer Metrik für Qualität wurde und wird der JIF aber auch bereitwillig und unkritisch als einfach verständliches und einfach zu ermittelndes „Surrogat“ (Baethge 2012) herangezogen – und das nicht nur für Zeitschriften, sondern auch für alle anderen Entitäten wie für Personen oder Einzelartikel. Obwohl durch die bibliometrische Forschung versucht wurde, den groben Vereinfachungen und falschen Anwendungen mit Korrekturen, z. B. mit Fachgewichtungen, oder durch andere Methoden wie Netzwerkanalysen oder Visualisierungen zu begegnen, sind der JIF und der h-Index bis heute die bekanntesten und am häufigsten verwendeten Metriken in der Forschungsbewertung – nicht nur in den Naturwissenschaften.

2. Voraussetzungen – Datengrundlagen für die Erhebung bibliometrischer Kennzahlen

9Für bibliometrische Analysen liefern Zitationsdatenbanken – Literaturdatenbanken, die zusätzlich die zitierte Literatur der referenzierten Publikationen enthalten – die Datengrundlage. Die Aktualität und die Größe der Datenbanken sowie vor allem die Korrektheit aller enthaltenen Daten sind Grundbedingungen für eine valide Aussage der damit erstellten bibliometrischen Analysen. Zum gegenwärtigen Zeitpunkt werden in den meisten Zitationsanalysen die Datenbanken Google Scholar, Scopus und Web of Science (WoS) genutzt. Google Scholar steht frei im Internet zur Verfügung, die beiden anderen Datenbanken müssen lizenziert werden. Die ebenfalls frei verfügbare Datenbank OpenAlex wurde erst 2022 als Literaturdatenbank und für bibliometrische Analysen gestartet, sie wird bisher erst vereinzelt für letztere eingesetzt. Ausnahme ist das CWTS Leiden Ranking Open Edition, das seit 2024 die wissenschaftliche Performanz von über 1.500 Universitäten aus aller Welt basierend aus Daten aus OpenAlex ermittelt (Waltman et al. 2024).

10Im Folgenden soll untersucht werden, ob das Vertrauen in die Daten all dieser Zitationsdatenbanken und die Methoden angebracht ist oder ob die Verwendung der einfachen Metriken, besonders des Journal Impact Factors aber auch des h-Indexes, in Frage gestellt werden muss.

2.1 Datenqualität

11Bei Google Scholar erzeugt die Erstellung der Datenbank durch automatisierte Webcrawler und fehlende Qualitätskontrolle immer wieder Inkonsistenzen, Fehler und Dubletten (Harzing and Alakangas 2016), die nicht behoben werden. Autorenprofile müssen von Wissenschaftler:innen selbst angelegt werden. Sie sind auch dafür verantwortlich, dass ihnen ihre Publikationen und nur ihre Publikationen zugerechnet werden. Die automatische Erkennung und Zuordnung neu indexierter Publikationen zum eigenen Profil sollte abgeschaltet werden, leider ist sie Standard. Man kann bei Publikationen, die in einem Verlag erschienen sind, davon ausgehen, dass die Metadaten in der PDF-Datei vorhanden und korrekt sind, und damit auch korrekt erkannt werden, doch ist das bei Preprints nicht gewährleistet. Bei Namensgleichheit wird es von Google Scholar den betroffenen Autor:innen überlassen, ihre Profile korrekt und aktuell zu halten. Sowohl die Qualität der Publikationen als auch die Datenqualität ist in Google Scholar sehr verschieden. Dennoch wird die Datenbank gerne vor allem zur Erhebung des h-Indexes für Einzelpersonen verwendet, da sie durch ihre schiere Größe die höchsten Werte generiert.

12OpenAlex ist ebenfalls nicht selektiv beim Indexieren von Publikationen, so finden sich zum Beispiel Preprints (OurResearch 2024) aber auch Artikel aus nicht vertrauenswürdigen Zeitschriften in der Datenbank. Die Hauptdatenquelle für OpenAlex ist Crossref, eine der Registrierungsagenturen für Digital Object Identifiers (DOIs). Verlage liefern die Metadaten von Publikationen einschließlich der Literaturlisten automatisch an Crossref. Dies ist nicht nur ein Einfallstor für Publikationen zweifelhaften Inhalts (Richtig et al. 2023), sondern wird auch zum Einschleusen zusätzlicher Zitationen, die überhaupt nicht im Artikel vorkommen, benutzt (Besançon et al. 2024). Bei der Disambiguierung der Autoren stützt sich OpenAlex zum Beispiel auf ORCiDs. Sind in den gelieferten Metadaten keine angegeben, ist der Algorithmus zur Erzeugung von Autorprofilen sehr großzügig, so dass sich Autoren mit häufigen Namen dann in einem Profil wiederfinden (Culbert et al. 2024). In einer Bewertung der Eignung von OpenAlex für bibliometrische Analysen, die in Zusammenarbeit mit OurResearch, dem Produzenten von OpenAlex, erstellt wurde, mahnen Alperin et. al. (2024) noch zur Vorsicht. So ist OpenAlex immer noch Untersuchungsobjekt von Bibliometriker:innen, um den Umfang und die Datenqualität zu testen und mit den traditionellen Datenbanken zu vergleichen. Der Umfang von OpenAlex übertrifft sowohl Scopus als auch WoS. Die Aufnahme von Publikationen aus Raubzeitschriften kann zwar durch Filterung auf im Directory of Open Access Journals (DOAJ) enthaltene Publikationsorgane kompensiert werden, in die Zitationsdaten gehen sie aber dennoch ein. Auch die eindeutige Erkennung und Disambiguierung bei Personen und Institutionen ist – Stand Juni 2025 – immer noch nicht so gut, dass valide bibliometrische Analysen möglich wären. Das Centrum voor Wetenschaps- en Technologiestudies (CWTS) in Leiden, NL nutzt erhebliche eigene Ressourcen und auch weitere Datenquellen für die korrekte Zuordnung von Publikationen zu den untersuchten Universitäten (CWTS 2024).

13Die Firmen Clarivate und Elsevier bewerben ihre Datenbanken WoS beziehungsweise Scopus mit hohen Qualitätsansprüchen an die Selektivität und Sorgfalt der Indexierungen. Die beiden Datenbanken sollten demzufolge wesentlich weniger Fehler enthalten als Google Scholar und OpenAlex. Leider sind jedoch die bekannten Schwächen bei der Disambiguierung von Zeitschriften, Institutionen und Personen im WoS (Rehs 2021) auch nach Jahren nicht behoben. Die Algorithmen zur Erstellung von Personenprofilen sind immer noch so schwach, dass die generierten Profile für eine bibliometrische Auswertung nur mit großer Vorsicht und profunder Kenntnis der Sachverhalte zu nutzen sind. Es werden mehrere Profile pro Autor:in angelegt oder es werden die Publikationen mehrerer Autor:innen in ein Profil zusammengelegt. Sogar Kurationen der Autor:innen selbst durch das Claimen und Prüfen des eigenen Profils werden immer wieder überschrieben. Werden ohne Umsicht, Sachkenntnis und Kontrolle einfach die Autorenprofile des WoS zur Analyse herangezogen, sind die ermittelten Metriken in vielen Fällen wertlos in der Aussage und ungerecht für die Person, zu der sie erhoben wurden. Das gleiche gilt für die korrekte Zuordnung von Publikationen zur Forschungsstätte. Auch hier sind zwar Korrekturen durch die Institutionen selbst möglich, indem alle kursierenden Namensvarianten der eigenen zugeordnet werden können. Es ist jedoch nicht transparent, welche Institutionen diese Möglichkeit nutzen.

Abbildung 1: Screenshot aus der Datenbank Scopus vom 27. 09.2024

14Bekanntermaßen wurden mehrfach Raubzeitschriften mit ihren Artikeln von zweifelhafter Qualität in die Datenbank Scopus aufgenommen (Cortegiani et al. 2019). Durch eine Verschärfung der Aufnahmekriterien und deren regelmäßig Überprüfung wurde die weitere Indexierung von Artikeln aus diesen Publikationsorganen gestoppt, aber nicht rückgängig gemacht. So sind die einmal indexierten Artikel nach wie vorhanden und gehen auch in die Daten für Zitationsanalysen ein.

15Auch in Scopus kann man mit einfachen Suchen systematische Fehler in Meta- und Zitationsdaten finden. Wenn man Ende September 2024 in Scopus Dokumente mit dem Publikationsjahr 2024 suchte, fiel auf, dass unter den Top-Treffern mehrere Bücher und Buchkapitel waren. Dies wäre sehr erstaunlich, da Zeitschriftenartikel in der Regel wesentlich schneller und häufiger zitiert werden als Bücher und Buchkapitel.

16Das falsche Publikationsjahr für den Titel Dependency and development in Latin America von Cardoso und Faletto (laut Scopus von 2024, korrektes Publikationsjahr der neuesten Auflage 1979) führt zu der skurrilen Situation, dass der Titel laut Zitationsdatenbank schon Jahrzehnte vor seinem angeblichen Erscheinen zitiert wurde (s. Abb. 1). Selbst wenn man den Nachdruck der 8. Auflage von 2020 heranzieht, der 2021 auch als E-Book-Version veröffentlicht wurde, sind die bibliographischen und die Zitationsangaben falsch. Keinem Bachelorstudierenden würde man ein Zitat mit solch falschen bibliographischen Angaben durchgehen lassen. Die Monographie wird in Scopus auch im Juni 2025 noch immer als eine der meistzitierten Publikationen des Erscheinungsjahrs 2024 gelistet. Leider ist sie kein Einzelfall (siehe auch Abbildung 4). Eine Datenkorrektur ist bis zur Fertigstellung des Manuskripts Ende Juni 2025 trotz Meldung des Fehlers nicht erfolgt.

17Mit einer einfachen Plausibilitätsprüfung wären solche Fehler zu vermeiden. Auch dass ein Artikel sich angeblich selbst zitiert, sollte mittels Plausibilitätstest ermittelt und die Aufnahme solcher falschen Zitationsdaten vermieden werden können. Im folgenden Beispiel sieht man die Zirkelzitation:

Abbildung 2: Screenshot aus der Datenbank Scopus vom 27.09.2024

18Ein besonderes Augenmerk sollte außerdem auf der Prüfung von Bewertungen wie highly cited liegen. Beispielsweise bleibt im Vergleich mit den Zitationszahlen auf den Plattformen Google Scholar und Scopus rätselhaft, wie es im WoS dazu kommen kann, dass der Artikel Search for sources of high-energy neutrons with four years of data from the Icetop Detector (Aartsen et al. 2016) zum Highly Cited Article geadelt wird, ohne dass die Zitationsdaten verifiziert werden.

Abbildung 3: Screenshots aus den Datenbanken Google Scholar, Scopus und Web of Science vom 27.09.2024

19Nun könnte man argumentieren, dass die genannten Fehler zwar ärgerlich, aber nicht ausschlaggebend für die ermittelten Metriken sind, da sie nur einen sehr geringen Anteil der in den Datenbanken enthaltenen Publikationen betreffen. Autor:innen, deren Profile nicht korrekt sind, und die eine Karrierechance aufgrund unvollständiger Daten verpasst haben, sind doppelte Opfer: die der Datenbankunzulänglichkeiten und eventuell missbräuchlicher Verwendung von Metriken. Nicht nur der h-Index einer Autorin kann betroffen sein, sondern sogar die fachnormalisierte Metrik einer Einzelpublikation eines Autors. Für das Publikationsjahr 2024 sind in Abbildung 4 die in Scopus enthaltenen Bücher aus den Geisteswissenschaften mit den höchsten Zitationen gelistet.

Abbildung 4: Screenshot aus der Datenbank Scopus vom 26.06.2025

20Alle abgebildeten Publikationen sind wesentlich früher erschienen und liegen zum Teil schon in mehreren Auflagen vor, keine ist jedoch 2024 erschienen. Allein diese wenigen Publikationen treiben die durchschnittliche Anzahl von Zitationen in die Höhe: Geisteswissenschaftliche Bücher mit (angeblichem) Publikationsjahr 2024 sollen bisher im Durchschnitt 2,3-mal zitiert worden sein, wogegen geisteswissenschaftliche Zeitschriftenartikel aus 2024 im Schnitt seit ihrem Erscheinen nur 0,8-mal zitiert wurden. Der hohe Durchschnitt geht zu Lasten von Büchern, die wirklich 2024 erschienen sind, und benachteiligen damit natürlich auch deren Autor:innen.

21Dass bibliographische und Zitationsdatenbanken nicht fehlerfrei sind, ist bekannt (Zhu, Hu, and Liu 2019; Liu 2021; Donner 2024). Alle hier beschriebenen Fehler sind mit ganz einfachen Suchanfragen zu ermitteln. Das Ausmaß, in dem Fehler bei Meta- und Zitationsdaten vorkommen, überrascht aber immer wieder und auch, dass offensichtlich selbst einfache Gegenmaßnahmen wie die oben geforderten Plausibilitätsprüfungen nicht ergriffen werden. Falsche Meta- und Zitationsdaten können nie zu korrekten bibliometrischen Analysen führen.

3. Bewertung von Forschungsleistungen

28All diese Unzulänglichkeiten sind längst bekannt und anerkannt. Und doch wird immer noch in so mancher Habilitationsordnung, vor allem in der Medizin, die Publikation einer Mindestanzahl von Artikeln in Zeitschriften mit einem JIF über einem bestimmten Schwellenwert gefordert. Aus einem hohen JIF wird die Reputation einer Zeitschrift abgeleitet und aus dieser angenommenen Reputation der Zeitschrift die Qualität des in ihr veröffentlichten Artikels und der Forschung einer Person.

29In Bayern ist die Leistungsorientierte Mittelvergabe (LOM) an den Universitätskliniken u. a. abhängig vom JIF der Zeitschriften, in denen publiziert wurde. Bei der Erfassung der Publikationen werden die JIFs der Zeitschriften automatisch eingespielt. Wenn eine Zeitschrift nicht im WoS gelistet ist, hat sie keinen JIF. Das macht die Publikation für dieses Verfahren wertlos. Auch Kongressbeiträge scheiden aus, wenn die Proceedingsbände keinen Zeitschriftenstatus haben, selbst wenn die Konferenz im Teil Conference Proceedings Citation Index des WoS referenziert ist.

30Es gibt wohl kein universitäres Berufungs-, Preisverleihungs- oder Aufstiegsverfahren (in den Naturwissenschaften) ohne zumindest eine Spalte für den h-Index in der Übersichtstabelle über die Kandidat:innen. Immer wieder finden sich in Kommissionen Tischvorlagen wie die folgende:

31Welche Aussage kann man der Tabelle entnehmen? Als einziges kann man sagen, dass alle Autorinnen schon viel publiziert haben. Da aber sowohl die Quelle der Daten als auch das Erhebungsdatum fehlen, ganz zu schweigen von den Fachgebieten oder dem wissenschaftlichen Alter der Autorinnen, verbietet sich jede Bewertung mit Hilfe des h-Indexes, die karriererelevant sein könnte.

4. Herausforderungen und Grenzen

32Bei vielen und vor allem bei vielen jungen Wissenschaftler:innen werden mit der Reduktion ihrer Forscherpersönlichkeit und Forschungsleistung auf eine Zahl ethische Grenzen überschritten. Letztere sind zu jung, um schon viele Arbeiten publiziert zu haben. Ihre Publikationen sind zu jung, um schon viele Zitationen gesammelt zu haben. So kommt es bei Bewertungen am Karriereanfang zum reflexartigen Rückgriff auf die Anzahl der Publikationen in hochkarätigen Zeitschriften, auch wenn die Deutsche Forschungsgemeinschaft 2019 in Leitlinie 15 ausdrücklich feststellt: „Die wissenschaftliche Qualität eines Beitrags hängt nicht von dem Publikationsorgan ab, in dem er öffentlich zugänglich gemacht wird .“

33Bereits 2008 hielten mehrere mathematische Vereinigungen fest: „The sole reliance on citation data provides at best an incomplete and often shallow understanding of research—an understanding that is valid only when reinforced by other judgments. Numbers are not inherently superior to sound judgments .“ (Adler, Ewing, and Taylor 2008) Die deutliche Kritik an der culture of numbers und die Forderung, dass die Bewertung von Forschungsleistung um Methoden ergänzt werden müsse, die über reine Zahlen hinausgehen, wurde veranschaulicht mit dem Irrglauben, nur anhand des Gewichts einer Person deren Gesundheit beurteilen zu können.

34Immer mehr Widerstand formierte sich gegen diese Praktiken, zunächst unter Betroffenen, bei denen der Leidensdruck am größten ist. So wurde 2012 anlässlich einer Konferenz der American Society of Cell Biologists die San Francisco Declaration on Research Assessment (DORA) verabschiedet. Sie richtet sich in erster Linie gegen die Verwendung von Zeitschriftenmetriken für Personen. In 18 Empfehlungen wird sehr detailliert gefordert, dass zum Beispiel der JIF nicht zur Beurteilung von Einzelpersonen herangezogen werden darf.

35Das Leiden Manifesto (Hicks et al. 2015) stammt von Scientometriker:innen u. a. der Universität Leiden. Es fordert erneut, dass quantitative Metriken nur zur Unterstützung qualitativer Beurteilungen herangezogen werden dürfen. Weiterhin wird unter anderem verlangt, dass Indikatoren regelmäßig auf ihre Aussagekraft hin überprüft werden und gegebenenfalls ersetzt werden müssen.

36Die Coalition for Advancing Research Assessment (CoARA) wurde im Januar 2022 von über 350 Institutionen aus über 40 Ländern gegründet. Am 12.06.2025 hatten bereits 844 Institutionen ihr Agreement on Reforming Research Assessment (Coalition for Reforming Research Assessment 2022) unterzeichnet und sich damit zu einem umfangreichen Maßnahmenpaket verpflichtet. Dies ist umso bemerkenswerter, als die Unterzeichnung mit der Bereitstellung erheblicher Ressourcen für die Umsetzung der geforderten Maßnahmen verbunden ist.

37Während eine Unterschrift unter DORA nur eine Absichtserklärung und ein Bekenntnis zu den Empfehlungen ist, ist die Beteiligung bei CoARA eine Verpflichtung. So verwundert es nicht, dass bis Juni 2025 nur 78 deutsche Institutionen DORA unterschrieben haben und gar nur 44 das Agreement von CoARA.

5. Responsible Metrics

38Die Verwendung von Metriken bedeutet Verantwortung: Nur wer gut informiert ist, kann bibliometrische Indikatoren korrekt einsetzen. Jede:r Wissenschaftler:in und jede:r Wissenschaftsmanager:in muss heute über die Berechnungsmethoden, die Aussagekraft und die Unzulänglichkeiten der verwendeten Metriken Bescheid wissen. Jede:r Dozent:in und jede:r Betreuer:in im wissenschaftlichen Betrieb sollte heute die Bedeutung von Metriken zur Messung von Forschungsleistungen kennen, sowie die verantwortungsvolle Anwendung praktizieren und dem wissenschaftlichen Nachwuchs vermitteln. Das setzt in manchen akademischen Kreisen immer noch Mut voraus.

39In einigen Fächern spielen Metriken wie der h-Index für die Forschungsbewertung von Personen keine Rolle mehr, in anderen wie der Medizin und der Biologie werden sogar die JIFs noch herangezogen. Fächer, in denen noch nie mit diesen Metriken zur Bewertung gearbeitet wurde, müssen sich mittlerweile nicht mehr dazu treiben lassen. Stattdessen stehen fortschrittliche Methoden wie zum Beispiel die Visualisierung der Zitationsperzentile von Publikationen zur Verfügung. Mit einem Beamplot (Bornmann and Marx 2014) wird entweder für alle Publikationen einer Person oder für Publikationen aus einem ausgewählten Zeitraum dargestellt, wie wenig oder hoch sie im Vergleich zu Publikationen desselben Fachgebiets, aus demselben Jahr und vom selben Dokumenttyp zitiert werden. Diese Grafiken vermitteln einen wesentlich besseren Eindruck von der Publikationstätigkeit und dem Impact als eine einzige Zahl und machen auch Vergleiche möglich.

40Bibliometrische Indikatoren geben als quantitative Indikatoren kein Qualitätsurteil ab, sie sagen noch nicht einmal etwas über den wissenschaftlichen Einfluss einer Publikation, eine:r Forscher:in oder einer Universität aus und haben nichts mit Reputation zu tun. Sie beruhen auf Zitationen und spiegeln höchstens die Sichtbarkeit wider. Bibliometrische Methoden können als eine Facette zur Forschungsbewertung beitragen. Bibliometrie ist dafür da, um zu erkennen, wo man Fragen stellen muss.

Literatur

1. Aartsen, M. G., K. Abraham, M. Ackermann, J. Adams, J. A. Aguilar, M. Ahlers, M. Ahrens et al. 2016. „ Search for Sources of High-Energy Neutrons with Four Years of Data from the IceTop Detector.“ ApJ 830 (2): 129. https://doi.org/10.3847/0004-637X/830/2/129.
2. Adler, Robert, John Ewing, and Peter Taylor. 2008. „Citation Statistics: A Report from the International Mathematical Union (IMU) In Cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) And the Institute of Mathematical Statistics (IMS).” Accessed January 26, 2025. http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf.
3. Baethge, Christopher. 2012. „Nichtperfekter Impact-Faktor.“ Deutsches Ärzteblatt 109 (15): 267–69. https://doi.org/10.3238/arztebl.2012.0267.
4. Besançon, Lonni, Guillaume Cabanac, Cyril Labbé, and Alexander Magazinov. 2024. “Sneaked References. Fabricated Reference Metadata Distort Citation Counts.” Asso for Info Science & Tech 6 (2): 48–59. https://doi.org/10.1002/asi.24896.
5. Bornmann, Lutz, Rüdiger Mutz, and Hans-Dieter Daniel. 2008. „Are There Better Indices for Evaluation Purposes Than the H Index? A Comparison of Nine Different Variants of the H Index Using Data from Biomedicine.“ J Am Soc Inf Sci Tec 59 (5): 830–37. https://doi.org/10.1002/asi.20806.
6. Bornmann, Lutz, and Werner Marx. 2014. “Distributions Instead of Single Numbers: Percentiles and Beam Plots for the Assessment of Single Researchers.” J Assn Inf Sci Tec 65 (1): 206–8. https://doi.org/10.1002/asi.22996.
7. Cardoso, Fernando H. and Enzo Faletto. 1979. "Dependency and development in Latin America." 8th ed. Berkley: University of California Press.
8. Centrum voor Wetenschaps- en Technologiestudies (CWTS). 2024. „CWTS Leiden Ranking Open Edition. Data.“ Accessed January 26, 2025. https://open.leidenranking.com/information/data.
9. Coalition for Reforming Research Assessment. 2022. „Agreement on Reforming Research Assessment.“ Accessed January 26, 2025. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf.
10. Cortegiani, Andrea, Filippo Sanfilippo, Jacopo Tramarin, and Antonino Giarratano. 2019. “Predatory Open-Access Publishing in Critical Care Medicine.” Journal of critical care 50: 247–49. https://doi.org/10.1016/j.jcrc.2018.12.016.
11. Culbert, Jack, Anne Hobert, Najko Jahn, Nick Haupka, Marion Schmidt, Paul Donner, and Philipp Mayr. 2024. “Reference Coverage Analysis of OpenAlex Compared to Web of Science and Scopus.” Accessed November 19, 2024. http://arxiv.org/pdf/2401.16359v3.
12. Deutsche Forschungsgemeinschaft. 2019. „Leitlinien Zur Sicherung Guter Wissenschaftlicher Praxis (Kodex).“ Bonn. Accessed January 26, 2025. https://www.dfg.de/de/grundlagen-themen/grundlagen-und-prinzipien-der-foerderung/gwp/kodex.
13. Donner, Paul. 2024. „Data Inaccuracy Quantification and Uncertainty Propagation for Bibliometric Indicators.“ Research Evaluation 33:235. https://doi.org/10.1093/reseval/rvae047.
14. DORA. 2012. „San Francisco Declaration on Research Assessment.“ Accessed January 26, 2025. https://sfdora.org/read/.
15. Egghe, Leo. 2007. „From H to G: The Evolution of Citation Indices.“ Research Trends (5). http://info.scopus.com/resaerchtrends/archive/RT1/exp_op_1.htm.
16. Garfield, Eugene. 1955. „Citation Indexes for Science. A New Dimension in Documentation Through Association of Ideas.“ Science 122 (3159): 105–11.
17. Harzing, Anne-Wil, and Satu Alakangas. 2016. „Google Scholar, Scopus and the Web of Science: A Longitudinal and Cross-Disciplinary Comparison.“ Scientometrics 106 (2): 787–804. https://doi.org/10.1007/s11192-015-1798-9.
18. Haustein, Stefanie. 2010. “Multidimensionale Zeitschriftenevaluation.” In Proceedingsband, edited by Bernhard Mittermaier, 109-122. Konferenz der Zentralbibliothek, Forschungszentrum Jülich 5. Jülich: Forschungszentrum Jülich Zentralbibliothek.
19. Haustein, Stefanie. 2023. „Stop Using the H-Index: Educating Researchers About Scholarly Metrics.“ March 28. Accessed August 26, 2024. https://uofc.sharepoint.com/sites/Knowledge-Engagement/_layouts/15/stream.aspx?id=%2Fsites%2FKnowledge%2DEngagement%2FNavigating%20DORA%2F2023%2D03%2D28%5FNavigatingDORA%5FStefanieHaustein%2FRecording%5FNavigatingDORA%5FHaustein%5F2023%2D03%2D28%2Emp4&ga=1.
20. Hicks, Diana, Paul F. Wouters, Ludo Waltman, Sarah de Rijcke, and Ismael Rafols. 2015. „The Leiden Manifesto for Research Metrics.“ Nature 520: 429–31. https://doi.org/10.1038/520429a.
21. Hirsch, Jorge Eduardo. 2005. „An Index to Quantify an Individual’s Scientific Research Output.“ PNAS 102 (46): 16569–72. https://doi.org/10.1073/pnas.0507655102.
22. Koltun, Vladlen, and David Hafner. 2021. „The H-Index Is No Longer an Effective Correlate of Scientific Reputation.“ PloS ONE 16 (6): e0253397. https://doi.org/10.1371/journal.pone.0253397.
23. Lesch, Harald. 2024. „Klima und Energie - Der Stand der Dinge.“ Stuttgart. Accessed January 26, 2025. https://www.youtube.com/watch?v=xWWXD_NKpHs.
24. Liu, Weishu. 2021. „A Matter of Time: Publication Dates in Web of Science Core Collection. “ Scientometrics 126 (1): 849–57. https://doi.org/10.1007/s11192-020-03697-x.
25. Nielsen, Michael. 2008. „Why the H-Index Is Little Use.“ Accessed August 04, 2016. http://michaelnielsen.org/blog/why-the-h-index-is-virtually-no-use/.
26. OurResearch. 2024. “OpenAlex Technical Documentation, Sources.” Accessed January 26, 2025. https://docs.openalex.org/api-entities/sources.
27. Rehs, Andreas. 2021. „A Supervised Machine Learning Approach to Author Disambiguation in the Web of Science.“ Journal of Informetrics 15 (3): 101166. https://doi.org/10.1016/j.joi.2021.101166.
28. Richtig Georg, Marina Berger, Max Koeller, Markus Richtig, Erika Richtig, Jörg Scheffel, Marcus Maurer, and Frank Siebenhaar. 2023. “Predatory Journals: Perception, Impact and Use of Beall’s List by the Scientific Community–A Bibliometric Big Data Study.” PloS ONE 18 (7): e0287547. https://doi.org/10.1371/journal.pone.0287547.
29. Reitz, Joan M. 2021. „Online Dictionary for Library and Information Science - Bibliometrics.“ Accessed July 12, 2021. https://www.abc-clio.com/ODLIS/odlis_b.aspx.
30. Seglen, Per O. 1997. „Why the Impact Factor of Journals Should Not Be Used for Evaluating Research.“ BMJ 314:497. https://doi.org/10.1136/bmj.314.7079.497.
31. Stringer Michael J., Marta Sales-Pardo, and Luís A. Nunes Amaral. 2010. “Statistical Validation of a Global Model for the Distribution of the Ultimate Number of Citations Accrued by Papers Published in a Scientific Journal.” Journal of the American Society for Information Science and Technology 61 (7): 1377–85. https://doi.org/10.1002/asi.21335.
32. Waltman, Ludo, and Nees Jan P. van Eck. 2012. „The Inconsistency of the H-Index.“ J Am Soc Inf Sci Tec 63 (2): 406–15. https://doi.org/10.1002/asi.21678.
33. Waltman, Ludo, Nees Jan P. van Eck, Martijn S. Visser, Mark Neijssel, Lucy Montgomery, Cameron Neylon, Bianca Kramer, Kyle Demes, and Jason Priem. 2024. “Introducing the Leiden Ranking Open Edition.” Accessed January 26, 2025. https://www.leidenmadtrics.nl/articles/introducing-the-leiden-ranking-open-edition.
34. Yong, Alexander. 2014. „A Critique of Hirsch’s Citation Index. A Combinatorial Fermi Problem.“ Notices Amer. Math. Soc. 61 (9): 1040–50. https://doi.org/10.1090/noti1164.
35. Zhu, Junwen, Guangyuan Hu, and Weishu Liu. 2019. „DOI Errors and Possible Solutions for Web of Science.“ Scientometrics 118 (2): 709–18. https://doi.org/10.1007/s11192-018-2980-7.