Wie Sie die Behauptung eines KI-Humanizers prüfen, er bewahre Ihre Formatierung

Eine Behauptung zur Formatierung lässt sich nur prüfen, wenn sie vier Dinge benennt: welches Element, in welcher Dateiebene, von wie vielen, gezählt wie. „Bewahrt Ihre Zitate" benennt davon nichts. „Markdown-Überschriften, die in der Eingabe vorkamen, überlebten in 291 von 552 Fällen" benennt alle vier, und Sie können anderer Meinung sein.

Der Rest ist der Test, angewandt auf den einzigen offenen Datensatz, den ich in dieser Kategorie finden konnte – der sich als Veröffentlichung eines Konkurrenten herausstellt und trotzdem das Prüfbarste hier ist – und danach auf unsere eigenen Zahlen, Lücken eingeschlossen.

Die Frage nach der Ebene ist die, die übersprungen wird, und sie entscheidet darüber, ob eine Zahl für eine Abschlussarbeit überhaupt etwas bedeutet. Ein Hash am Zeilenanfang und eine Formatvorlage „Überschrift 2" in `word/document.xml` sind verschiedene Objekte mit verschiedenen Fehlerarten. Ein Werkzeug kann bei dem einen perfekt sein und bei dem anderen hoffnungslos.

Fangen Sie damit an, wer es veröffentlicht, denn eine Behauptung erbt die Interessen dessen, der sie aufstellt.

Der Datensatz, den in dieser Kategorie alle zitieren, ist HumanizerBench, und seine Über-uns-Seite trägt einen Satz, den die meisten Benchmarks verstecken würden: "We're operated by WriteHuman, which sells one of the humanizers on this leaderboard." (Wir werden von WriteHuman betrieben, und WriteHuman verkauft einen der Humanizer in dieser Rangliste.) Jede Seite der Website endet mit demselben Eingeständnis in der Fußzeile, und WriteHuman belegt im unten zitierten Zyklus den ersten Platz. Es ist also kein unabhängiger Benchmark, und eine Quellenangabe, die ihn so nennt, hat einen Schritt übersprungen.

Was es stattdessen ist, ist das Seltenere: Es veröffentlicht die Dateien. Jede Eingabe, jede Ausgabe und jedes Detektor-Urteil aus dem Zyklus vom August 2026 liegt in einem öffentlichen Repository unter CC BY 4.0. Ein Benchmark, den ein Konkurrent betreibt und der die Rohdaten herausgibt, kann von einem Außenstehenden geprüft werden; eine neutral klingende Übersicht ohne irgendetwas zum Herunterladen kann es nicht. Beide Hälften müssen zusammen auftreten, und die zweite Hälfte ist der Grund, warum die Zahlen unten überhaupt etwas wert sind.

Der Zyklus umfasst 12 Werkzeuge mal 33 Stichproben, also 396 abgeschlossene Tests. Gezählt wurden Elemente, die in einer Eingabe vorkamen und in der zugehörigen Ausgabe zurückkehrten:

Nun die vier Fragen. Element: benannt. Nenner: veröffentlicht. Zählmethode: eine Regel, die Sie selbst anwenden können, denn eine Markdown-Überschrift ist eine Zeile, die mit einem Hash beginnt, und ein fetter Bereich ist Text zwischen doppelten Sternchen; das Überleben ist nach oben durch das begrenzt, was die Eingabe tatsächlich enthielt, also bekommt kein Werkzeug etwas gutgeschrieben, das es erfunden hat. Laden Sie den Zyklus herunter, wenden Sie die Regel an, und Sie landen entweder bei diesen beiden Zahlen oder Sie finden heraus, wo ich falsch lag. Ebene: Markdown-Zeichen in Klartext. Alles in diesem Datensatz wurde in ein Feld eingefügt und wieder herauskopiert; eine `.docx` war zu keinem Zeitpunkt beteiligt.

Diese letzte Zeile ist keine Kritik am Benchmark, der nie etwas anderes behauptet hat. Sie ist das, was Sie im Kopf behalten müssen, wenn ein Anbieter sie Ihnen entgegenhält.

Dieselben vier Fragen, auf uns gerichtet. Und das Erste, was zu sagen ist, entscheidet darüber, wie viel Gewicht das verdient: Wir haben unsere eigene Ausgabe gemessen, an Dateien, die wir ausgesucht haben, mit unserem eigenen Skript. Ein Anbieter, der sich selbst misst.

Wir haben drei Vorher-Nachher-Paare genommen, jede Datei als Zip geöffnet und `word/document.xml` durchgegangen. Die Absatzzahlen kamen in allen drei identisch zurück (345, 403 bzw. 405). Die als Überschrift formatierten Absätze ergaben über alle Dateien hinweg 152 im Eingang und 152 im Ausgang. Die einzige Tabelle im Korpus blieb unverändert bei 7 Zeilen und 14 Zellen.

Element: Absätze, Überschriftenformate, Tabellenzeilen und -zellen. Ebene: DOCX. Nenner: angegeben. Zählmethode: ein Skript, das die XML liest, statt das Produkt zu fragen, was es getan hat.

Und der Teil, den Sie nicht prüfen können: Die Dateien gehören uns, und wir veröffentlichen sie nicht, also kann niemand außerhalb dieses Unternehmens durch Nachzählen auf 152 kommen. Das ist eine echte Schwäche der Zahl, und ich nenne sie lieber, als sie schönzureden. Was sich übertragen lässt, ist das Vorgehen – die sechs Schritte weiter unten, angewandt auf ein Dokument, das Ihnen gehört, statt auf eines, das wir ausgesucht haben.

Und nun die Teile, die eine Marketingseite weglassen würde.

Der Wortlaut einer Überschrift ist von dieser Zahl nicht abgedeckt. Bei dem Dokument mit 46 Überschriften kamen 18 Überschriften in der ausgewogenen Einstellung umformuliert zurück, trugen aber weiterhin dieselbe Formatvorlage. Als Überschrift zu überleben und unverändert zu überleben sind zwei verschiedene Behauptungen, und nur die erste ist oben gemessen.

Mehrere Elemente wurden nie getestet, weil der Korpus keine davon enthielt. Die Suche nach den Markern eines Inhaltsverzeichnisfeldes, eines Querverweises und einer Fußnote liefert in allen drei Dateien nichts. Damit sagt unsere Zählung ausgerechnet über die Elemente nichts, von denen eine Abschlussarbeit am meisten abhängt. „Die Tabelle hat überlebt" ist eine Messung. „Querverweise überleben" wäre eine Schlussfolgerung, und diese Unterscheidung sollten Sie auf jede Version dieses Satzes anwenden, auch auf unsere.

Hier ist ein Fehler, den wir in unserer eigenen Recherche entdeckt haben – und darum vertraue ich den vier Fragen mehr als jeder Zusammenfassung.

In einem internen Vermerk zu diesem öffentlichen Datensatz stand die Zeile, vier namentlich genannte Werkzeuge hätten bei der Erhaltung von Überschriften 0 % erreicht. Beim Nachzählen anhand der Rohdaten stimmte die Liste, gehörte aber zur Spalte fett. Bei den Überschriften liegt eines dieser vier Unternehmen bei 58,7 %. Wäre das so hinausgegangen, hätten wir eine 0 % über ein Unternehmen veröffentlicht, dessen öffentliche Daten etwas anderes sagen – und jeder hätte das in fünf Minuten widerlegen können, indem er dieselbe Datei herunterlädt.

Die Zahl war echt. Sie hatte sich bloß von dem gelöst, was sie maß – eine Station von der Quelle entfernt.

Daraus ergibt sich eine fünfte Frage, und sie ist die billigste: Kann ich von hier zurück zu den Rohdaten gelangen, und wer hat sie erzeugt? Wenn die Antwort ein Blogbeitrag ist, der einen Blogbeitrag zitiert, ist die Zahl schon weiter gewandert, als sie es sicher kann. Wenn die Rohdaten einen Klick entfernt sind, aber die Leute, die sie veröffentlicht haben, ein Werkzeug in derselben Tabelle verkaufen, können Sie sie trotzdem nutzen – Sie müssen nur jedes Mal beides gleichzeitig sagen.

Sie brauchen keinen Benchmark, um ein Werkzeug zu prüfen, das Sie in Betracht ziehen. Sie brauchen eine absichtlich widerspenstige Datei.

1. Bauen Sie ein Testdokument mit je einem Exemplar von allem: zwei Überschriftenebenen, ein automatisches Inhaltsverzeichnis, ein Querverweis auf eine nummerierte Abbildung, eine Fußnote, eine nummerierte Liste, eine zweispaltige Tabelle mit einer Zahl und einer Einheit in einer Zelle, ein zitierter Satz und drei Zitate im Text aus Ihrem Literaturverwaltungsprogramm.
2. Notieren Sie die Zählungen, bevor Sie hochladen. Literaturangaben, Fußnoten, Tabellenzeilen und -zellen, Überschriften, Listeneinträge.
3. Lassen Sie es durch das Werkzeug laufen.
4. Öffnen Sie das Ergebnis, wählen Sie alles aus und aktualisieren Sie die Felder (Strg+A, dann F9). Ein aktives Feld aktualisiert sich vor Ihren Augen. Ein Feld, das in gewöhnliche Zeichen verwandelt wurde, sieht genauso aus und tut nichts, und das ist die Zwei-Sekunden-Methode, die beiden zu unterscheiden, ohne die XML zu öffnen.
5. Zählen Sie erneut, und vergleichen Sie den Wortlaut getrennt von der Struktur. Eine Überschrift, die noch eine Überschrift ist, aber etwas anderes sagt, ist ein Ergebnis, kein Fehler – aber Sie müssen wissen, was Sie bekommen haben.
6. Lesen Sie den zitierten Satz und die Zelle mit der Zahl darin. Genau dort richtet eine flüssige Umschreibung den Schaden an, den Sie beim Überfliegen nicht sehen.

Eine halbe Stunde davon sagt Ihnen mehr über Ihre eigene Datei als jede Vergleichsseite in dieser Kategorie, unsere eingeschlossen. Vergleichsseiten – unsere so gut wie die aller anderen – sind über die Dokumente anderer Leute geschrieben.

Das Tool HumanPen ist ein Werkzeug für Dokumente, darum ist die Dateiebene die, die uns interessiert, und die Zählungen oben sind das, was wir darauf gemessen haben. Vier Elemente bleiben von uns ungemessen, und sie sind in diesem Artikel benannt statt weggelassen.

Der Teil, der eine Designentscheidung ist und keine Messung: Es wird nie etwas Kleineres als ein ganzer Absatz umgeschrieben, und eine Auswahl, die mitten in einem Absatz landet, wird auf diesen Absatz ausgeweitet und Ihnen erst zur Bestätigung vorgelegt. Ein importierter Bericht kann diese Grenze an Ihrer Stelle setzen. Die Abrechnung richtet sich nach den umgeschriebenen Wörtern selbst, das ist eine Preistatsache und keine Behauptung zur Erhaltung, und ich führe sie hier nur auf, weil beides oft als ein einziger Satz verkauft wird. Unsere eigene FAQ endet weiterhin mit "Review complex documents after download" (Prüfen Sie komplexe Dokumente nach dem Herunterladen), und das ist die richtige Anweisung – und keine, die wir abzuschwächen gedenken.

Die Behauptung ist absichtlich eng gefasst: Weniger veränderte Absätze bedeuten weniger Stellen, an denen irgendetwas davon schiefgehen kann.

Gibt es dafür einen unabhängigen Benchmark? Nicht einen, den ich finden kann. Es gibt einen offenen Datensatz, HumanizerBench, veröffentlicht unter CC BY 4.0 – betrieben aber von WriteHuman, das eines der Werkzeuge verkauft, die es bewertet; „unabhängig" ist also das falsche Wort. Prüfbar ist es eher als unabhängig, und das sind zwei verschiedene Eigenschaften: Die Rohdateien sind herunterladbar, was mehr ist, als die meisten in dieser Kategorie bieten. Außerdem misst es Markdown-Formatierung in Klartext und nichts innerhalb einer `.docx`. Für die Dokumentenebene habe ich überhaupt keinen öffentlichen Datensatz gefunden, und darum lohnt die halbe Stunde mit der Basteldatei von oben.

Ein Werkzeug behauptet eine Erhaltungsrate von 99 %. Ist das gut? So wie es dasteht, nicht zu beantworten. Fragen Sie: welches Element, in welcher Dateiebene, von wie vielen und gezählt wie. Eine Rate ohne Nenner und ohne benanntes Element ist keine Messung.

Was ist die schnellste Einzelprüfung? Strg+A und dann F9 in Word. Sie trennt aktive Felder von Text, der nur so aussieht, und dauert zwei Sekunden.

Warum überleben Überschriften, Literaturverzeichnisse aber manchmal nicht? Unterschiedliche Mechanismen. Eine Überschrift ist eine Formatvorlage, die an einem Absatz hängt, und die überlebt eine Umschreibung der Wörter darin. Ein Literaturverzeichnis ist Inhalt, also hängt es davon ab, ob es überhaupt im Geltungsbereich der Umschreibung lag.