Pergunte a uma equipe como ela decide qual documentação escrever em seguida, e você normalmente vai ouvir uma mistura de três coisas: aquilo de que o suporte mais reclamou no mês, o que o último cliente grande pediu e o que a pessoa que escreve acha interessante.
Enquanto isso, se você tem um assistente de IA na sua central de ajuda, existe uma lista perfeita bem ali. Cada vez que alguém fez uma pergunta que os seus artigos não respondiam, isso foi uma pauta, escrita por quem precisava dela, com as próprias palavras.
Eu só nunca mostrei essa lista direito. Agora mostro.
Conversas
A página Widget do site agora tem uma aba Conversas: todos os chats que os visitantes tiveram com o seu assistente, guardados por 90 dias.
A busca funciona no texto das mensagens, não só nos títulos: buscar reembolso encontra conversas em que alguém escreveu “reembolso”, mesmo que o título gerado automaticamente seja sobre outra coisa. Cada linha mostra quantas perguntas foram feitas, quantas respostas citaram um artigo e se alguma ferramenta foi executada.
O filtro que importa é Nenhum artigo citado. São as conversas em que nenhuma resposta citou um artigo de ajuda: o assistente não encontrou nada ou nem chegou a procurar. Essa é a sua fila de escrita, ordenada pela única métrica que conta: alguém de fato queria saber.
Abra uma e você vê a transcrição, quais ferramentas rodaram e com quais argumentos e, o que acabou importando mais do que eu esperava, a página em que o visitante estava quando perguntou. Uma pergunta que, isolada, parece sem sentido muitas vezes fica óbvia quando você sabe que a pessoa estava olhando a sua tabela de preços enquanto digitava.
Um número que marcava 157%
Enquanto construía isso, notei que o bloco Sem resposta, na mesma página, mostrava 157,1%.
A causa foi um erro honesto, e comum. O numerador contava turnos: cada vez que o assistente respondia sem citar nada, somava um. O denominador contava conversas: um conjunto de ids de sessão únicos.
Não são a mesma unidade. Um visitante frustrado que faz onze perguntas sem resposta numa única sessão conta como onze falhas e uma conversa. Divida, e você tem 1.100%.
Agora os dois lados contam a mesma coisa: turnos do assistente que de fato buscaram na central de ajuda. E isso revelou um segundo bug, mais sutil.
Nem toda pergunta sem resposta é uma falha
O contador antigo somava um sempre que uma resposta não citava nenhum artigo. Mas o system prompt do Kookee diz explicitamente ao assistente para responder algumas coisas sem buscar: cumprimentos, “o que você sabe fazer?”, perguntas de esclarecimento devolvidas ao visitante. Esse é o comportamento correto. Buscar “oi” na sua central de ajuda é que seria o bug.
Todas essas respostas estavam sendo registradas como lacunas de conteúdo.
Por isso a correção tem duas metades: igualar as unidades e só contar os turnos em que o assistente realmente foi procurar. Um cumprimento não conta mais como falha da documentação. A lista Lacunas de conteúdo agora traz perguntas que de fato mereciam uma resposta e não receberam.
A lição que eu generalizaria: quando uma porcentagem está errada, o bug interessante raramente é a aritmética. É que os dois números nunca mediram a mesma coisa, e ninguém percebeu até um deles crescer o bastante para quebrar a exibição.
O ciclo
É curto o bastante para fazer durante um café:
Filtre por Nenhum artigo citado.
Leia algumas. Procure a mesma pergunta feita de três jeitos diferentes.
Escreva o artigo que deveria existir. Publique.
O assistente passa a usá-lo na hora, sem reindexar e sem rebuild.
Depois volte em duas semanas e veja se aquela pergunta parou de aparecer. É o único ciclo de feedback de documentação que eu conheço que se fecha sozinho.
O que o Kookee guarda e o que não guarda
Como isto é uma caixa de entrada de suporte com outro nome, os limites importam.
Guardado: as mensagens do visitante, as respostas do assistente, quais ferramentas rodaram e os argumentos delas, quais artigos foram citados, e a URL e o título da página de onde veio cada pergunta. Tudo é apagado automaticamente depois de 90 dias.
Não guardado: o texto da página que o assistente leu, qualquer coisa passada como contexto do app e os resultados que as suas próprias ferramentas devolveram. Isso serve para responder à pergunta do momento e é descartado.
Os visitantes são anônimos, a menos que o seu site os identifique. Uma conversa fica ligada a uma sessão do navegador: o widget nunca pede nome nem e-mail, mas a sua página pode rotulá-la com identify(). Só que as pessoas digitam coisas pessoais em caixas de chat, então qualquer membro do projeto pode ler as transcrições, e só proprietários e administradores podem apagá-las.
Já disponível na aba Conversas da página Widget do site. Se o seu widget já está rodando há algum tempo, existe um acúmulo de conversas esperando por você, e ele provavelmente é mais honesto sobre a sua documentação do que a sua última auditoria de conteúdo.