31. Juli 2026
Ich bitte Claude, mir ein Buch zusammenzufassen
Es gibt viel zu viele Bücher. Die Liste dessen, was ich lesen möchte, wächst erheblich schneller als die Liste dessen, was ich wirklich zu lesen schaffe. Dabei ergibt sich mit der Zeit eine bestimmte Kategorie von Büchern: solche die ich kennen, aber nicht lesen möchte. (Ich sage jetzt nicht welche, weil ich nicht mit Geschmacksdebatten vom Thema ablenken möchte.)
Da immer wieder Leute schwören, LLMs seien super darin, Texte zusammenzufassen, bitte ich also Claude, genau dies zu tun. Für das Experiment brauche ich natürlich ein Buch, das ich kenne, um die Qualität der Zusammenfassung bewerten zu können, und füttere Claude mit dem EPUB eines belletristischen Weltbestsellers aus dem letzten Jahrhundert, ohne mir sicher zu sein, dass ich das darf. Ich schreibe einen relativ ausführlichen Prompt in welchem ich um eine ausführliche, lebendige, gerne längere Zusammenfassung der Handlung bitte sowie eine Beschreibung der Schlüsselstellen und eine Interpretation. Außerdem bitte ich darum, charakteristische Stellen oder "Money Quotes" zu zitieren.
Das Ergebnis ist leider sehr underwhelming. Ich erhalte ein 13seitiges EPUB zurück. Claude "sagt" gleich mehrfach in der Antwort und im EPUB, dass es nicht zitiert, weil es das aus urheberrechtlichen Gründen nicht darf. Das finde ich einerseits schade, da es sich um ein Buch handelt, das ich legal besitze und jederzeit selber manuell paraphrasieren dürfte, kann es andererseits natürlich nachvollziehen, dass darin eine nicht gestattete Vervielfältigung gesehen werden kann.
Die eigentliche Zusammenfassung und Interpretation sind von bemerkenswerter Schlichtheit. Es fehlen weite Teile der Handlung bzw. sind ausgesprochen oberflächlich angeschnitten. Ich erhalte keinen Überblick über die Figuren des Romans. Stilistik und Sprachduktus sind einigermaßen gut beschrieben, aber danach hatte ich ja auch explizit gefragt. Die Interpretation lässt mich vermuten, dass Claude mit relativ vielen mittelguten Schulaufsätzen trainiert wurde. Alles in allem: Nicht brauchbar.
Ganz extrem ist das Gefälle zum Wikipedia-Eintrag, in dem die Handlung ausführlich und lebendig beschrieben und die Interpretation knapper und mehr "on point" abgehandelt wird. Allerdings handelt es sich wie gesagt um einen Weltbestseller, das heißt, die Wahrscheinlichkeit, dass es einen schön ausführlichen Wikipedia-Eintrag gibt, ist da sehr hoch. Das gilt für die meisten meiner "will ich kennen aber nicht lesen"-Bücher nicht.
Ich habe die Erfahrung, dass LLMs Texte nicht wirklich ausreichend gut zusammenfassen können, schon verschiedentlich mit anderen Dokumenten gemacht. Ich gebe zu, dass ich das nicht systematisch durchgetestet habe, aber mir genügt für meine Skepsis, dass ich bei einer kleinen Zahl von Versuchen mit durchaus elaborierten Prompts eine 100%ige "unbrauchbar"-Quote erzielt habe. Vielleicht wird es besser, wenn ich "nachfrage" und mich mit dem LLM über das Buch "unterhalte". Dass immer wieder Leute in den sozialen Medien relativ begeistert berichten, dass sie lange Dokumente von LLMs zusammenfassen lassen und so ihre Arbeit viel besser erledigen können, stimmt mich jedenfalls sehr bedenklich.
(Enno Park)

















