Um chatbot baseado em um modelo de linguagem pode dar uma resposta falsa em tom convincente porque gerar um texto coerente não é o mesmo que verificar fatos. O sistema produz uma sequência provável de palavras com base na pergunta e no contexto recebido; se não encontra informações suficientes, pode preencher as lacunas com uma resposta plausível, em vez de reconhecer que não sabe. Isso não significa que todos os chatbots funcionem da mesma maneira: alguns são conectados a mecanismos de busca ou bases documentais, enquanto outros respondem principalmente com base no conhecimento adquirido durante o treinamento.
O problema costuma ser chamado de alucinação: informações que parecem verossímeis, mas são falsas ou não têm respaldo nas fontes disponíveis. O tom não comprova a exatidão. Uma afirmação categórica pode refletir a maneira como o modelo gera respostas, e não uma verificação independente do dado.
TruthfulQA avaliou 817 perguntas elaboradas para provocar erros
Um estudo de Stephanie Lin, da Universidade de Oxford, Jacob Hilton, da OpenAI, e Owain Evans, de Oxford, examinou esse risco com o benchmark TruthfulQA, publicado nos anais da Association for Computational Linguistics em 2022. Os autores elaboraram 817 perguntas em 38 categorias, incluindo saúde, direito, finanças e política, para testar se os modelos repetiam crenças falsas ou equívocos comuns.
A avaliação incluiu os modelos GPT-3, GPT-Neo/J, GPT-2 e uma versão baseada em T5. Na tarefa principal, o modelo com melhor resultado — GPT-3, com 175.000 milhões de parâmetros e uma instrução voltada a ser útil — respondeu corretamente a 58% das perguntas; o desempenho humano usado como referência foi de 94%. Em 42% das perguntas, esse modelo deu respostas informativas, mas falsas, ante 6% na comparação com humanos.
O resultado não permite afirmar que os chatbots atuais tenham as mesmas taxas. O benchmark foi criado para detectar erros associados a perguntas que induzem à repetição de ideias equivocadas e avaliou modelos e configurações específicos daquele período. Ainda assim, mostra um mecanismo relevante: um modelo pode reproduzir uma falsidade frequente nos textos usados em seu treinamento, embora a resposta soe natural. Os autores também observaram que, nesse teste, os modelos maiores tendiam a ser menos verídicos; não concluíram que aumentar o tamanho sempre reduz a precisão em qualquer tarefa.
Buscar documentos reduz um tipo de erro, mas não verifica a resposta por si só
Uma arquitetura com geração aumentada por recuperação — conhecida como RAG — acrescenta uma etapa de busca. O modelo recupera trechos de documentos e, em seguida, redige uma resposta com base nesse material. O trabalho fundador Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, apresentado na NeurIPS 2020 por pesquisadores da Facebook AI Research, da University College London e da New York University, combinou um mecanismo neural de recuperação, um índice vetorial da Wikipédia e um gerador baseado em BART. Nos testes, o sistema RAG produziu respostas mais específicas e factuais do que um modelo de referência que gerava respostas apenas com base no próprio modelo, em tarefas de linguagem avaliadas pelos autores.
A busca acrescenta evidências que podem ser consultadas, mas não garante que a resposta final esteja correta. A recuperação pode falhar se o sistema encontrar documentos irrelevantes, incompletos ou desatualizados; a geração também pode falhar se o modelo interpretar mal os trechos ou acrescentar detalhes sem respaldo neles. O estudo de 2020 também aponta que nem todas as perguntas podem ser respondidas apenas com a Wikipédia. A arquitetura RAG tampouco descreve todos os assistentes: seu funcionamento depende do projeto e das ferramentas de cada serviço.
O que verificar antes de usar uma resposta como dado
É importante separar fluidez de evidência. Se o chatbot fornecer um número, uma data, uma citação ou o nome de uma norma, confira essas informações na fonte primária: o relatório, o registro oficial, o artigo científico ou o documento original. Se apresentar referências, verifique se elas existem e se dão respaldo exatamente à afirmação, e não apenas a um tema semelhante. A data de publicação também importa e, em questões legais ou administrativas, é preciso considerar o país ou a jurisdição a que o dado se refere.
Outro sinal útil é observar se a pergunta contém uma premissa duvidosa. Em vez de aceitar a suposição, é possível pedir que o sistema indique o que não consegue confirmar e quais documentos embasam a resposta; depois, essas fontes devem ser verificadas separadamente. Uma resposta que admite incerteza tampouco fica automaticamente validada: ela apenas deixa claro que a segurança do tom e a certeza dos fatos são coisas distintas.
O que realmente importa não é o quanto a frase parece segura, mas se o dado pode ser rastreado até evidências pertinentes e atualizadas.
