Frag ein Team, wie es entscheidet, welche Dokumentation als Nächstes geschrieben wird, und du hörst meist eine Mischung aus drei Dingen: worüber sich der Support diesen Monat am lautesten beschwert hat, wonach der letzte große Kunde gefragt hat und was die Person, die schreibt, gerade interessant findet.
Dabei liegt eine fertige Liste längst bereit, wenn du einen KI-Assistenten in deinem Hilfecenter betreibst. Jedes Mal, wenn jemand eine Frage gestellt hat, die deine Artikel nicht beantworten konnten, war das ein Content-Briefing, geschrieben von der Person, die die Antwort brauchte, in ihren eigenen Worten.
Ich habe dir diese Liste nur nie richtig gezeigt. Jetzt zeige ich sie dir.
Unterhaltungen
Die Seite Website-Widget hat jetzt einen Tab Unterhaltungen: jeder Chat, den ein Besucher mit deinem Assistenten geführt hat, 90 Tage lang aufbewahrt.
Die Suche läuft über die Nachrichten selbst, nicht nur über die Titel: Eine Suche nach Rückerstattung findet Unterhaltungen, in denen jemand „Rückerstattung“ geschrieben hat, auch wenn der automatisch erzeugte Titel von etwas ganz anderem handelt. Jede Zeile zeigt, wie viele Fragen gestellt wurden, wie viele Antworten einen Artikel zitiert haben und ob Tools gelaufen sind.
Der Filter, auf den es ankommt, heißt Kein Artikel zitiert. Das sind die Unterhaltungen, in denen keine Antwort einen Hilfeartikel zitiert hat: Der Assistent hat nichts gefunden oder gar nicht erst gesucht. Das ist deine Schreibliste, geordnet nach der einzigen Kennzahl, die zählt: Jemand wollte es wirklich wissen.
Öffne eine davon, und du siehst das Transkript, welche Tools mit welchen Argumenten gelaufen sind und (das ist wichtiger, als ich erwartet hatte) die Seite, auf der der Besucher war, als er gefragt hat. Eine Frage, die für sich genommen rätselhaft wirkt, ist oft sofort klar, sobald du weißt, dass die Person beim Tippen auf deine Preistabelle geschaut hat.
Eine Zahl, die 157 % anzeigte
Beim Bauen ist mir aufgefallen, dass die Kachel „Keine Antwort möglich“ auf derselben Seite 157,1 % anzeigte.
Die Ursache war ein ehrlicher Fehler, und ein häufiger. Der Zähler zählte Antworten: Jedes Mal, wenn der Assistent antwortete, ohne etwas zu zitieren, kam eins dazu. Der Nenner zählte Unterhaltungen: eine Menge eindeutiger Session-IDs.
Das sind verschiedene Einheiten. Ein frustrierter Besucher, der in einer einzigen Session elf unbeantwortete Fragen stellt, zählt als elf Fehlschläge und eine Unterhaltung. Teil das eine durch das andere, und du kommst auf 1100 %.
Jetzt zählen beide Seiten dasselbe: Antworten des Assistenten, für die er tatsächlich im Hilfecenter gesucht hat. Und dabei kam ein zweiter, subtilerer Fehler ans Licht.
Nicht jede unbeantwortete Frage ist ein Fehlschlag
Der alte Zähler ging jedes Mal hoch, wenn eine Antwort keinen Artikel zitierte. Mein Systemprompt weist den Assistenten aber ausdrücklich an, manches ohne Suche zu beantworten: Begrüßungen, „Was kannst du?“, Rückfragen an den Besucher. Das ist richtiges Verhalten. Dein Hilfecenter nach „Hallo“ zu durchsuchen, wäre der eigentliche Fehler.
Trotzdem wurde all das als Inhaltslücke erfasst.
Die Korrektur hat deshalb zwei Hälften: die Einheiten angleichen und nur Antworten werten, für die der Assistent wirklich gesucht hat. Eine Begrüßung gilt nicht mehr als Lücke in der Dokumentation. Die Liste „Inhaltslücken“ enthält jetzt nur noch Fragen, die eine Antwort verdient und keine bekommen haben.
Die Lehre, die ich verallgemeinern würde: Wenn ein Prozentwert falsch ist, steckt der interessante Fehler selten in der Arithmetik. Er steckt darin, dass die beiden Zahlen nie dasselbe gemessen haben, und niemand hat es gemerkt, bis eine davon groß genug wurde, um die Anzeige zu sprengen.
Die Schleife
Sie ist kurz genug für eine Kaffeepause:
Filtere nach Kein Artikel zitiert.
Lies eine Handvoll. Achte auf dieselbe Frage in drei verschiedenen Formulierungen.
Schreib den Artikel, den es hätte geben sollen. Veröffentliche ihn.
Der Assistent nutzt ihn sofort, ohne Neuindexierung und ohne Rebuild.
Schau in zwei Wochen wieder rein, ob diese Frage noch auftaucht. Von allen Feedback-Schleifen für Dokumentation, die ich kenne, ist das die einzige, die sich von selbst schließt.
Was Kookee speichert und was nicht
Das hier ist ein Support-Posteingang unter anderem Namen, deshalb zählen die Grenzen.
Gespeichert: die Nachrichten des Besuchers, die Antworten des Assistenten, welche Tools mit welchen Argumenten gelaufen sind, welche Artikel zitiert wurden sowie URL und Titel der Seite, von der jede Frage kam. Nach 90 Tagen wird alles automatisch gelöscht.
Nicht gespeichert: der Seitentext, den der Assistent gelesen hat, alles, was als App-Kontext übergeben wurde, und die Ergebnisse deiner eigenen Tools. Sie dienen nur dazu, die jeweilige Frage zu beantworten, und werden danach verworfen.
Besucher sind anonym, solange deine Website sie nicht identifiziert. Eine Unterhaltung hängt an einer Browser-Session: Das Widget fragt nie nach Name oder E-Mail-Adresse, aber deine Seite kann sie mit identify() kennzeichnen. Trotzdem tippen Menschen Persönliches in Chatfenster, deshalb kann jedes Projektmitglied Transkripte lesen, löschen können sie aber nur Inhaber und Admins.
Ab sofort im Tab Unterhaltungen auf der Seite Website-Widget. Läuft das Widget bei dir schon eine Weile, wartet dort bereits ein Rückstand auf dich, und der sagt wahrscheinlich ehrlicher, wie es um deine Dokumentation steht, als dein letztes Content-Audit.