Modelos generativos de IA, como ChatGPT, revolucionaram a forma como interagimos com a tecnologia. No entanto, permanece um desafio significativo: a tendência para “alucinar” – apresentar com confiança informações falsas como factos. Um estudo recente da OpenAI, a empresa por trás do ChatGPT, identificou a principal razão para esse comportamento: Os modelos de IA são incentivados a adivinhar em vez de admitir que não sabem.
A raiz do problema: incentivando suposições
Atualmente, os métodos usados para avaliar o desempenho do modelo de IA geralmente recompensam a precisão acima de tudo. Isso significa que os modelos são avaliados principalmente com base na porcentagem de perguntas que respondem corretamente, independentemente de sua confiança ou certeza. Pesquisadores da OpenAI argumentam que isso cria um sistema onde adivinhar se torna uma vantagem estratégica.
É um pouco como um aluno fazendo um teste de múltipla escolha, explica o estudo. Deixar uma pergunta em branco não garante pontos, então eles são incentivados a fazer suposições.
Da mesma forma, quando os modelos de IA são penalizados apenas por respostas incorretas, são encorajados a prever respostas mesmo quando não têm informação suficiente. Isto os leva a gerar declarações que parecem plausíveis, mas, em última análise, falsas.
Como os modelos de IA “aprendem” e por que surgem alucinações
Os modelos de IA aprendem prevendo a próxima palavra em uma sequência de texto, com base em enormes conjuntos de dados. Embora estes conjuntos de dados contenham frequentemente padrões consistentes, também incluem informações aleatórias e contraditórias. Quando confrontados com questões ambíguas ou sem respostas definitivas – situações inerentemente caracterizadas pela incerteza – os modelos de IA recorrem frequentemente a suposições estratégicas para melhorar a sua pontuação global de precisão.
“Essa é uma das razões pelas quais, mesmo à medida que os modelos se tornam mais avançados, eles ainda podem ter alucinações, dando respostas erradas com confiança em vez de reconhecer a incerteza”, observam os pesquisadores.
Resolvendo o problema: recompensando a honestidade e a incerteza
Felizmente, está surgindo uma solução simples para este problema. Os investigadores sugerem penalizar mais os “erros de confiança” do que as expressões de incerteza, ao mesmo tempo que dão crédito parcial aos modelos por reconhecerem adequadamente as suas limitações.
Isto reflecte um teste padronizado onde são atribuídas notas negativas a respostas erradas, ou é dado crédito parcial por deixar questões em branco. Tal sistema desencorajaria a adivinhação cega e incentivaria os modelos a expressar incerteza quando apropriado.
Para resolver isso, a OpenAI sugere atualizar os métodos de avaliação atuais para IA generativa. “As avaliações amplamente utilizadas e baseadas na precisão precisam ser atualizadas para que sua pontuação desencoraje a adivinhação.” Ao desviar o foco de apenas recompensar a precisão, os desenvolvedores podem abrir caminho para modelos de linguagem com mais nuances e menos propensos a alucinações.
Concluindo, a tendência dos modelos de IA para “alucinar” decorre de um sistema de avaliação falho. Ao incentivar a honestidade e reconhecer a incerteza, podemos desenvolver uma IA que seja poderosa e confiável. Esta mudança é particularmente crítica à medida que a IA é cada vez mais utilizada em áreas como a medicina e o direito, onde a precisão e a fiabilidade são fundamentais.
