Eine Large Language Model-Analyse von Stilmitteln in Batty Webers Abreißkalender

Einleitung

Der Einzug von großen Sprachmodellen (large language models, LLMs) wie die GPT-Serie von OpenAI hat eine neue Ära für die Computerlinguistik und die Digital Humanities (DH) eingeleitet. Diese Modelle, die mit sehr großen Textdatenkorpora trainiert wurden, verfügen über eine noch nie dagewesene Fähigkeit, menschliche Sprache zu verstehen und zu erzeugen, was neue Wege für die automatisierte Analyse literarischer Texte bereitet. Im Bereich der DH bietet dies die Möglichkeit, die traditionellen Praktiken des close reading mit computergestützter Hilfe zu verbessern, insbesondere bei umfangreichen Textkorpora, die aufgrund von Ressourcenbeschränkungen nur schwer manuell analysiert werden können.

Batty Weber, eine Schlüsselfigur der luxemburgischen Literatur des frühen 20. Jahrhunderts, war Autor des Abreißkalenders, einer Sammlung täglicher Kolumnen, die über mehrere Jahrzehnte hinweg veröffentlicht wurden. Diese in deutscher Sprache verfassten Texte bieten einen umfassenden Einblick in die soziokulturelle Landschaft Luxemburgs in einer Zeit, die von bedeutenden historischen Ereignissen geprägt war, darunter beide Weltkriege. Der schiere Umfang und die historische Tiefe des Abreißkalenders machen ihn zu einer unschätzbaren Quelle für Wissenschaftler, stellen aber auch praktische Herausforderungen für ein gründliches close reading. Bisherige computergestützte Ansätze in der Literaturanalyse stützen sich oft auf Schlüsselwörter, Themenmodellierung und Stimmungsanalyse, um Erkenntnisse aus großen Textsammlungen zu gewinnen. Diese Methoden sind zwar nützlich, können aber bei der Erfassung nuancierter Themen, kontextbezogener Feinheiten und der Intention des Autors versagen. Dies sind allerdings Elemente, die für die geisteswissenschaftliche Forschung von zentraler Bedeutung sind. Darüber hinaus haben herkömmliche Verfahren zur Verarbeitung natürlicher Sprache (natural language processing, NLP) möglicherweise Schwierigkeiten mit idiomatischen Ausdrücken, historischem Sprachgebrauch und den Besonderheiten weniger erforschter Sprachen oder Dialekte.

Diese Studie zielt darauf ab, diese Lücke zu schließen, indem sie die Wirksamkeit eines aktuellen LLM bei der Durchführung von automatisiertem close reading von Batty Webers Abreißkalender testet. Konkret untersuchen wir, wie ein GPT-Modell nuancierte textanalytische Aufgaben erledigen kann, wie beispielsweise die Identifizierung und Interpretation von Darstellungen nationaler Identität, Krieg oder technischem Fortschritt. Die Fähigkeit des Modells, nicht nur relevante Passagen zu erkennen, sondern auch Erklärungen für seine Auswahl zu liefern, bietet ein neuartiges Werkzeug für die Textanalyse in den Geisteswissenschaften.

Indem wir den Abreißkalender in das GPT-Modell einspeisen, bewerten wir dessen Leistung bei der Replikation eines menschenähnlichen Verständnisses komplexer literarischer Themen und Strukturen. Dieser Ansatz birgt ein erhebliches Potenzial für kleinere Forschungsprojekte, denen es an finanziellen Mitteln und Arbeitskräften mangelt. Automatisiertes close reading mit Hilfe von KI kann es Wissenschaftlern ermöglichen, sich effizienter mit großen Textsammlungen auseinanderzusetzen und so den Zugang zu umfassender Literaturanalyse zu demokratisieren.

Die Verbindung von cultural analytics mit modernen LLMs eröffnet zusätzliche Perspektiven, indem sie quantifizierbare und interpretative Ansätze in der Analyse kultureller Texte miteinander verknüpft. Insbesondere ermöglichen LLMs, kulturelle und linguistische Muster in großen Textkorpora zu erkennen und zu deuten – ein Ansatz, der in der cultural analytics und den Digital/Computational Literary Studies bereits zentrale Beachtung findet (vgl. Manovich 2020; Hatzel et al. 2023; Mélanie-Becquet et al. 2024). Darüber hinaus bestätigen aktuelle Untersuchungen, dass LLMs nicht nur zur automatisierten Klassifikation, sondern auch zur Förderung eines tieferen Verständnisses kultureller Diskurse beitragen können (vgl. Bamman et al. 2024). Diese interdisziplinäre Methodik erlaubt es, literarische Artefakte in einen breiten kulturellen Kontext zu stellen und so neue Forschungsfragen zu generieren, die über traditionelle close-reading-Ansätze hinausgehen. Zudem fördert die Kombination von cultural analytics und LLMs den Aufbau ressourceneffizienter Analysemethoden, die insbesondere für die Untersuchung weniger erforschter literarischer Strömungen von großer Bedeutung sind.

Unsere Ergebnisse zeigen, dass der Einsatz von LLMs zwar mit Kosten verbunden ist, sowohl an Rechenleistung als auch finanziell, die Vorteile in Bezug auf analytische Tiefe und Effizienz jedoch erheblich sind. Das hier verwendete GPT-Modell zeigte eine starke Fähigkeit zur Unterstützung des close reading, indem es detaillierte Antworten lieferte und einschlägige Textstellen identifizierte, die mit wissenschaftlichen Interpretationen übereinstimmen. In den folgenden Abschnitten erläutern wir unsere Methodik, präsentieren die Ergebnisse unserer Analyse und diskutieren die Implikationen für die zukünftige Forschung in den DH. Wir argumentieren, dass die Integration von LLMs in die geisteswissenschaftliche Forschung die Forschungsergebnisse verbessert und den Weg für eine integrativere und ressourceneffizientere akademische Forschung ebnet.

Fragestellung und Methodik

Kann ein GPT-Modell die feingliedrige literaturwissenschaftliche Analyse unterstützen? Konkret soll gezeigt werden, wie automatisiertes close reading für die Vorarbeiten für die inhaltliche und stilistische Analyse des Batty-Weber-Korpus eingesetzt werden kann. Methodisch orientieren wir uns an der Untersuchung von Underwood (vgl. 2023), der in einem Romankorpus das Verhältnis von erzählter Zeit und Erzählzeit mit Hilfe eines LLMs untersucht hat. Für die vorliegende Fallstudie widmen wir uns der Kriegsthematik, die in Webers Texten häufig wiederkehrt und sich größtenteils auf den Ersten Weltkrieg bezieht. Des Weiteren wird die Kriegsthematik hinsichtlich ihrer Bildlichkeit analysiert: Dazu werden aus dem Korpus alle (potenziellen) Belege extrahiert, die die Stilmittel der Metapher, der Metonymie oder des Vergleiches beinhalten.

Das Korpus für diese Studie besteht aus Batty Webers Abreißkalender, einer Sammlung von täglichen Kolumnen in deutscher Sprache, die über mehrere Jahrzehnte im frühen 20. Jahrhundert verfasst wurden (online publiziert unter: https://battyweber.uni.lu). Das Korpus umfasst 6.817 Einzeltexte aus den Jahren 1913 bis 1940, wobei durchschnittlich 250 Kalenderblätter pro Jahr enthalten sind. Die Texte weisen eine durchschnittliche Länge von 656 Wörtern auf, wobei einzelne Sätze im Mittel 21,7 Wörter umfassen. Der Gesamtumfang des Korpus beträgt ca. 3,8 Millionen Wortformen (Tokens ohne Satzzeichen).

Ergebnisse

Die vier Prompts generierten teilweise recht divergierende Resultate, wie die Anzahlen in der folgenden Tabelle zeigen, was als ein Hinweis darauf gedeutet werden kann, dass die Prompts jeweils recht unterschiedlich interpretiert wurden. Hier fällt besonders der Prompt „just definition“ auf, durch den allein 3.177 Metaphern identifiziert wurden. Eine kursorische Durchsicht dieser Resultate ergibt Folgendes: Tatsächlich wurden hier überwiegend Metaphern identifiziert, allerdings nicht zwangsläufig zur Kriegsthematik, d.h., dieser Aspekt des Prompts wurde vom LLM ignoriert oder falsch interpretiert; für die folgende Diskussion wird dieser Prompt daher ausgeschlossen.

Tabelle 1: Übersicht der extrahierten Stilmittel pro Prompt.

Die Resultate der übrigen drei Prompts liegen dichter beieinander, wobei der „Few shot“-Prompt die wenigsten und der „Zero shot“-Prompt die

meisten Resultate liefert. Für Letzteren ist noch erwähnenswert, dass das System auch 56 similes (als Untergruppe zu comparison, wobei der Fokus auf Wörtern wie „wie“ und „als“ liegt) und ein Paradox („Wo die,die einen Krieg heute gewinnen, ihn ja doch verlieren!“, wobei es sich um eine widersprüchliche Aussage handelt) identifiziert, obwohl nicht danach gefragt wurde. Dies ist ein weiterer Beleg dafür, dass bei GPT-Systemen immer mit gewissen Unzuverlässigkeiten zu rechnen ist, die im vorliegenden Fall jedoch durchaus konzeptuell passend sind.

Abbildung 1 soll einen Eindruck vom „Leseprozess“ des LLMs vermitteln: Geordnet nach Datum und Satznummer sind die identifizierten Sätze mit den zugeordneten Stilmitteln und der Erklärung zu sehen. Auf diese Art wird erkennbar, wie die Stilmittel im jeweiligen Text sukzessive aufeinander folgen.

Aufgrund der schieren Menge der Stilmittel in Batty Webers Kalenderblättern ist es kaum möglich, eine umfängliche Analyse oder auch eine Evaluation der Qualität der verschiedenen Prompts zu geben. Vielmehr muss sich hier auf die Präsentation einiger ausgewählter Beispiele beschränkt werden.

Das Stilmittel des Vergleichs lässt sich relativ einfach über das Vorhandensein der Vergleichspartikel „wie“ identifizieren und das LLM scheint auch diese Strategie zu verwenden. In der Erklärung werden die Vergleichsphrasen korrekt zitiert (z.B. „wie Kräuter im Maien“, „wie […] Mordstahl“, „wie […] Menschen“) und die Struktur des Vergleichs wird erläutert. Da die Prompts weitestgehend auf Englisch formuliert sind, erfolgt auch die Antwort in derselben Sprache.

Tabelle 2: Beispielergebnisse few-shot

Während sich die Erläuterungen der Kriegsthematik für die ersten beiden Beispiele auf den jeweiligen Satz beziehen („Tod sie fällen“ > „wie Kräuter im Maien“, „Mordstahl“ > „friedfertige[s] Blumenblatt“) und die Vergleiche in ihrer Gänze in diesem Satz realisiert werden, verhält es sich anders mit dem dritten Beispiel: Aus dem isolierten Satz kann die Interpretation zur „anxiety and anticipation associated with war“ nicht direkt herausgelesen werden. Hier hat das LLM den weiteren Kontext des Kalenderblattes miteinbezogen, in dem es tatsächlich um den Ersten Weltkrieg geht. Die Interpretation des Vergleichs im Kriegskontext ist demnach also prinzipiell korrekt. Auch hier hat das LLM also eine Vorgabe des Prompts, nämlich nur innerhalb der Grenzen eines Satzes zu bleiben, ignoriert.

Der Prompt „few-shot definition“ identifizierte im Ganzen 818 kriegsbezogene Metaphern, von denen einige charakteristische Exemplare im Folgenden aufgeführt sind. Insgesamt erhält man den Eindruck, dass Metaphern an sich recht gut erkannt werden. Auch wenn die Erklärungen teilweise pauschalisierende und unspezifische Äußerungen enthalten (z.B. „devastation of war“), so ist die hermeneutische Leistung der Metaphernbeschreibung doch positiv hervorzuheben. Das LLM ist also durchaus in der Lage, die Verbindung des mechanischen, eventuell industriellen „Schwungrades“ mit den allgemeinen Auswirkungen des Krieges oder die Naturereignisse „Winter“ oder „Hagel“ in Verbindung mit „Tod“ zu setzen, wodurch die prinzipielle Leistung der Metapher korrekt erfasst wird. Auch im letzten Beispiel erscheint eine Naturmetapher mit der „Blüte der Mannheit“, die dann wiederum mit dem Tod im Krieg in Verbindung gebracht wird.

Tabelle 3: Beispielergebnisse few-shot definition

Mit 216 Belegen repräsentieren die Metonymien die kleinste Gruppe der erkannten Stilmittel. Aus den folgenden Beispielen geht hervor, dass das LLM Metonymien auf der Einzelwortebene verortet: „Rot“ > „Blut“, „Eingeweide“ > „Schützengräben“, „Feldgraue“ > „Soldaten“. Auch hier kann generell konstatiert werden, dass die Zuordnungen und Erklärungen des LLMs größtenteils zutreffend sind.

Tabelle 4: Beispielergebnisse zero-shot

Die Abgrenzung zu Metaphern ist mitunter schwierig und müsste in einer manuellen Feinanalyse diskutiert werden: Man vergleiche etwa die obige Metapher „Winter ist Tod“ mit der Metonymie „Blut ist Trumpf“. Solche subtilen, oft an den Kontext gebundenen Unterschiede machen deutlich, dass heutige LLMs noch nicht als ganz zuverlässige, autonom agierende Instrumente zur Textanalyse eingesetzt werden können.

Abschließend soll die zeitliche Verteilung der Stilmittel über die gesamte Periode analysiert werden. Die folgende Abbildung zeigt die Häufigkeit der einzelnen Stilmittel über die Jahre hinweg und es zeigt sich sehr deutlich, wie die kriegsbezogenen Belege in den Jahren 1914 bis 1920 gegenüber den übrigen Jahren dominieren. In den Jahren danach nimmt die Anzahl beträchtlich ab. Diese Darstellung kann darüber hinaus auch als eine indirekte Bestätigung der weitgehenden Korrektheit der Zuordnungen interpretiert werden.

Diskussion

Die Anwendung eines aktuellen großen Sprachmodells zur Durchführung von automatisiertem close reading in Batty Webers Abreißkalender hat sowohl das Potenzial als auch die Herausforderungen der Integration fortschrittlicher NLP-Techniken in die Forschung im Bereich DH aufgezeigt. In dieser Studie haben wir festgestellt, dass das LLM große Textmengen effektiv verarbeiten und aufschlussreiche Analysen zu bestimmten Themen liefern kann. Bestimmte Einschränkungen und Überlegungen schreiben jedoch einen vorsichtigen Ansatz bei der Anwendung dieser Methoden vor.

Ob weitergehende hermeneutische Aufgaben an ein LLM übergeben werden können, müsste in weiteren Studien überprüft werden. Es erscheint uns allerdings offensichtlich, dass die LLM-gestützte Methode über eine korpusgestützte Methode hinausgeht bzw. sie sinnvoll ergänzen kann. Neben den angesprochenen Problemen, dass die Prompts hinsichtlich des Bezugs zur Kriegsthematik nicht immer einwandfrei funktionierten, liegt eines der noch zu lösenden Hauptprobleme in der Evaluation der Ergebnisse: Im vorliegenden Fall liegt kein manuell annotiertes Korpus für Vergleichszwecke vor. Es ist daher nicht möglich (oder nur durch hohen manuellen Aufwand) zu überprüfen, welche Belege falsch klassifiziert (false positives) und welche übersehen (false negatives) wurden.

Jüngste Fortschritte in der NLP, insbesondere die Entwicklung von transformerbasierten Modellen wie GPT-4 (vgl. Vaswani et al. 2018) haben die Möglichkeiten der automatischen Textanalyse erheblich verbessert. Diese Entwicklungen ermöglichen neue methodische Ansätze, die es erlauben, umfangreiche Korpora zu analysieren, die zuvor aufgrund von Ressourcenbeschränkungen kaum zugänglich waren (vgl. Terras 2022). Unsere Ergebnisse stimmen mit früheren Untersuchungen überein, die den Nutzen von LLMs bei der Aufdeckung thematischer Elemente in literarischen Texten belegen (vgl. Damai und Postema 2023; Underwood 2023). Gleichzeitig zeigen sich jedoch Limitationen, insbesondere in der genauen Interpretation nuancierter und historisch geprägter Sprache sowie in der Transparenz der Modellentscheidungen, da Verzerrungen und Befangenheit aus den zugrundeliegenden, heterogenen Datensätzen in den Ergebnissen wiederauftauchen können (vgl. Rudin 2019; Shah et al. 2020).

Besonders hervorzuheben ist der kulturelle Kontext: Der Abreißkalender ist tief in der luxemburgischen Geschichte und Kultur verankert, was nicht nur neue Perspektiven für die Luxemburgistik eröffnet, sondern auch einen Beitrag zur Erhaltung der regionalen Literatur leisten kann (vgl. Krauwer 2003). Zudem ist das Verfahren hilfreich zur Exzerptesammlung und Belegstellenkompilation, was die Nachvollziehbarkeit der Ergebnisse unterstützt. Gleichzeitig übergeneralisieren LLMs oftmals, sodass – vermutlich – mehr Belegstellen identifiziert werden, als durch die ursprüngliche Konzeption des Prompts tatsächlich erwartet wird. Dies verdeutlicht, dass mehr Prompt-Engineering nötig ist, um sicherzustellen, dass alle Aspekte korrekt interpretiert werden, und um zu verhindern, dass bestimmte Aspekte, wie die Vorgabe, ein Stilmittel ausschließlich innerhalb des vorliegenden Satzes zu interpretieren und keinen darüberhinausgehenden Kontext zu berücksichtigen, ignoriert werden.

Insgesamt unterstreicht diese Studie die Notwendigkeit eines vorsichtigen, interdisziplinären Ansatzes, der menschliche Aufsicht, gezielte Modellanpassungen und eine kritische Reflexion der ethischen Implikationen vereint, um das Potenzial von LLMs in den DH optimal zu nutzen und ihre Schwächen zu adressieren.

Konklusion

Zusammenfassend lässt sich sagen, dass die Integration großer Sprachmodelle in die DH trotz der verbleibenden Herausforderungen sehr vielversprechend scheint. Wenn man sich mit den Einschränkungen und ethischen Erwägungen auseinandersetzt, können diese Technologien die wissenschaftliche Arbeit erheblich bereichern und die detaillierte Analyse umfangreicher Textsammlungen leichter zugänglich und effizienter machen.

Trotzdem bedeutet dies nicht, dass manuelle Annotation „tot ist“ – also, dass man in wenigen Minuten einen Datensatz klassifizieren und offen zugänglich machen kann. Zwar haben LLMs wie ChatGPT eine Debatte darüber ausgelöst, ob die traditionelle Datenbeschriftung obsolet ist, doch bleibt die menschliche Rückmeldung das Fundament zuverlässiger KI-Systeme. Reine synthetische Daten und KI-gestützte Beschriftungen weisen nachweisliche Mängel auf, etwa in Bezug auf Diversität, Genauigkeit und die Verstärkung von Vorurteilen. Anstatt also den Datenanmerkungsprozess vollständig durch KI zu ersetzen, könnte ein umgedrehter Ansatz, bei dem menschliche Experten die KI bei der Datenaufbereitung unterstützen, nicht nur die Qualität der Daten verbessern, sondern auch zu einer robusteren und faireren Modellentwicklung beitragen.

Diese Perspektive unterstreicht die Bedeutung der interdisziplinären Zusammenarbeit, in der Fachwissen aus den DH und den Computerwissenschaften zusammenfließt, um die Potenziale von LLMs optimal zu nutzen und gleichzeitig ihre Schwächen zu adressieren. Letztlich wird ein solcher Ansatz dazu beitragen, die Herausforderungen im Umgang mit automatisierten Textanalysen zu meistern und den Weg für eine ethisch verantwortungsvolle Anwendung von KI in der geisteswissenschaftlichen Forschung zu ebnen.

Abschließend zeigt das Fallbeispiel von Batty Webers Abreißkalender, wie der Einsatz von großen Sprachmodellen neue Wege in der Literatur- und Kulturforschung eröffnen kann. Batty Weber dient dabei als exemplarischer Beleg dafür, dass LLMs nicht nur die Effizienz bei der Analyse umfangreicher Texte steigern, sondern auch dazu beitragen können, kulturhistorische Fragestellungen differenzierter zu erfassen und zu interpretieren. Diese explorative Methode, die traditionelle close-reading-Ansätze mit innovativen, datenbasierten Analyseverfahren kombiniert, stellt einen vielversprechenden Ansatz dar, um die kulturelle Bedeutung und den historischen Kontext literarischer Werke neu zu beleuchten.

Literaturverzeichnis

1. Bamman, David, Kent K. Chang, Li Lucy und Naitian Zhou. „On Classification with Large Language Models in Cultural Analytics“. arXiv:2410.12029, 2024.
2. Brown, Tom B., Benjamin Mann, Nick Ryder et al. „Language Models Are Few-Shot Learners“. Advances in Neural Information Processing Systems 33, 2020, S. 1877-1901.
3. Bußmann, Hadumod (Hrsg.). Lexikon der Sprachwissenschaft. Kröner, 2008.
4. Damai, Puspa, und Barbara Postema. „Humanities in the Time of ChatGPT and Other AI“. Critical Humanities 2 (1), 2023, S. i-vii.
5. Hatzel, Hans Ole, Haimo Stiemer, Chris Biemann und Evelyn Gius. „Machine learning in computational literary studies“. it – Information Technology 65 (4-5), 2023, S. 200-217. doi: 10.1515/itit-2023-0041.
6. Howard, Jeremy, und Sebastian Ruder. „Universal Language Model Fine-tuning for Text Classification“. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, herausgegeben von Iryna Gurevych und Yusuke Miyao. Association for Computational Linguistics, 2018, S. 328-339.
7. Krauwer, Steven. „The Basic Language Resource Kit (BLARK) as the First Milestone for the Language Resources Roadmap“. Proceedings of SPECOM, 2003, S. 8-15.
8. Liu, Pengfei, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi und Graham Neubig. „Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing“. arXiv:2107.13586, 2021.
9. Mélanie-Becquet, Frédérique, Jean Barré, Olga Seminck et al. (2024): „BookNLP-fr, the French Versant of BookNLP. A Tailored Pipeline for 19th and 20th Century French Literature“. Journal of Computational Literary Studies 3 (1), S. 1-34. doi: 10.48694/JCLS.3924.
10. Manovich, Lev. Cultural Analytics. MIT Press, 2020.
11. Rudin, Cynthia. „Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead“. Nature Machine Intelligence 1 (5), 2019, S. 206-215.
12. Shah, Deven Santosh, H. Andrew Schwartz und Dirk Hovy. „Predictive Biases in Natural Language Processing Models: A Conceptual Framework and Overview“. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, herausgegeben von Dan Jurafsky, Joyce Chai, Natalie Schluter und Joel Tetreault. Association for Computational Linguistics, 2020.
13. Terras, Melissa. „Digital Humanities and Digitized Cultural Heritage“. The Bloomsbury Handbook to the Digital Humanities, herausgegeben von James O’Sullivan. Bloomsbury, 2022, S. 255-266.
14. Underwood, Ted. „Using GPT-4 to measure the passage of time in fiction“. The Stone and the Shell [Blog], 19. März 2023. https://tedunderwood.com/2023/03/19/using-gpt-4-to-measure-the-passage-of-time-in-fiction/. Zugriff am 1. Mai 2025.
15. Vaswani, Ashish, Noam Shazeer, Niki Parmar et al. „Attention Is All You Need“. Advances in Neural Information Processing Systems 30. 31st Annual Conference on Neural Information Processing Systems (NIPS 2017), herausgegeben von Isabelle Guyon, Ulrike von Luxburg, Samy Bengio et al. NeurIPS, 2018, S. 5998-6008.