O que são as Alucinações em Modelos de Linguagem (LLMs) como ChatGPT, Gemini e Claude?
Alucinações em LLMs referem-se a situações em que esses modelos geram informações falsas, incorretas ou irrelevantes, mesmo quando se baseiam em padrões rigorosos de aprendizado.
Você se lembra de ter usado algum destes chats de Inteligência Artificial onde obteve uma resposta sem sentido? Ou o modelo te forneceu um link (URL), ou falou de um livro que não existia?
Pois é, ele alucinou!
Bom, eu já passei por diversas experiências destas, tendo começado a utilizar estes modelos ainda em dezembro de 2022.
Então, vamos compreender melhor “como” e “por que” estas alucinações acontecem. 😊
Não sabe ao certo o que é Inteligência Artificial? Clique Aqui.
De onde vem o termo “Alucinação” para os LLMs?
O termo foi pegado “emprestado” do que se apresenta no cérebro humano (e de alguns animais), em que problemas no sistema neurológico podem induzir percepções diferentes da realidade, seja em caráter patológico, por uso de substâncias ou por efeitos colaterais de medicamentos.
Estas alucinações podem surgir em diversas formas, desde pequenos detalhes incorretos até informações completamente “fabricadas”.
Por Que as Alucinações Ocorrem nos Modelos de IA?
As alucinações ocorrem devido a diversos fatores intrínsecos aos modelos de linguagem.
Primeiro, LLMs como o GPT-4 ou outros similares são treinados (machine learning) em vastos volumes de dados textuais retirados da internet, que podem incluir informações incorretas, mentirosas ou vieses.
Outro fator é a falta de compreensão genuína por parte dos modelos.
Embora possam gerar texto coerente e convincente, os LLMs não compreendem o contexto da maneira que os humanos fazem, levando a interpretações errôneas e, por sua vez, a alucinações.
Vamos ver alguns aspectos técnicos sobre Alucinações em LLMs.
Overfitting (Sobreajuste)
Durante o treinamento, o modelo pode se ajustar excessivamente aos dados de treinamento, aprendendo padrões específicos em vez de generalizações.
Isso pode levar a respostas que parecem plausíveis, mas são factualmente incorretas quando confrontadas com informações fora do conjunto de treinamento.
Distribuição de Probabilidade Desequilibrada
Os modelos de linguagem geram texto prevendo a próxima palavra com base na probabilidade.
Se a distribuição de probabilidade for desequilibrada, o modelo pode favorecer palavras ou frases comuns, mesmo que não sejam as mais precisas para o contexto.
Falta de Compreensão Semântica Profunda
Apesar de sua capacidade de gerar texto coerente, os modelos de linguagem não possuem uma compreensão profunda do significado das palavras e do mundo real.
Eles se baseiam em padrões estatísticos nos dados de treinamento, o que pode levar a erros quando esses padrões não refletem a realidade.
Viés nos Dados de Treinamento
Os dados usados para treinar os modelos podem conter informações incorretas, incompletas ou tendenciosas.
O modelo aprende com esses dados, perpetuando os vieses e gerando alucinações que refletem essas imprecisões.
Limitações na Arquitetura do Modelo
A arquitetura dos modelos de linguagem, como a do Transformer, possui limitações inerentes.
Por exemplo, a atenção auto-regressiva pode levar à propagação de erros, onde um erro em uma parte da resposta pode influenciar as partes subsequentes.
Falta de Mecanismos de Verificação de Fatos
A maioria dos modelos de linguagem não possui mecanismos integrados para verificar a veracidade das informações geradas (como o acesso a internet).
Eles podem produzir respostas convincentes, mas falsas, sem ter como avaliar sua precisão.
Dependência Excessiva em Padrões Estatísticos
Os modelos de linguagem dependem fortemente de padrões estatísticos nos dados para gerar texto.
Quando esses padrões não são suficientes para determinar a resposta correta, o modelo pode recorrer a “adivinhações” que levam a alucinações.
Em resumo, é impossível (pelo menos atualmente) que um modelo de linguagem (LLM) esteja completamente livre de alucinações.
Elas ocorrem em função da natureza probabilística dos modelos, pela limitação dos dados (e viesses) disponíveis ao treinamento, pela falta de compreensão do modelo sobre a realidade (pelo menos percebida por nós, humanos), entre outros.
As Alucinações podem ser positivas?
Podemos usar a alucinação dos LLMs ao nosso favor, se queremos por exemplo, que o modelo seja mais criativo.
Seja para fazermos brainstorming (buscando soluções para problemas ou projetos), ou se quisermos que o modelo desenvolva uma história (conto, roteiro, enredo).
Podemos também utilizar a alucinação positivamente no desenvolvimento de imagens e vídeos com IA, assim como trabalhar com entretenimento para o comportamento de personagens digitais em jogos.
Em complemento, muitos modelos de linguagem possuem um parâmetro de “temperatura”.
Você pode controlar a temperatura no ChatGPT usando a API (Playground OpenAI) em vez da interface web.
A temperatura de um modelo de linguagem é um parâmetro de aleatoriedade.
Fizemos uma matéria completa sobre temperatura, você pode acessá-la clicando aqui.
Uma temperatura mais “alta” pode introduzir mais alucinações.
Estratégias para Mitigar Alucinações em Modelos de IA
Para minimizar os efeitos das alucinações em LLMs, várias estratégias podem ser adotadas:
Refinamento Contínuo dos Dados
Melhorar a qualidade dos dados de treinamento pode reduzir significativamente as alucinações.
Neste sentido, é imprescindível que o modelo passe por um processo de fine-tuning (clique para saber mais).
Feedback e Ajustes Humanos
Incorporar um sistema de feedback onde os humanos (reinforcement learning from human feedback RLHF) possam corrigir as respostas dos modelos ajuda a ajustar melhor os LLMs ao longo do tempo.
Modelos de Verificação
Usar modelos (IAs) complementares para verificar a precisão das informações geradas pode ajudar a detectar e corrigir alucinações em tempo real.
Aprimoramento dos Algoritmos de Treinamento
Pesquisas contínuas para melhorar os algoritmos subjacentes aos LLMs também são cruciais.
Métodos mais sofisticados de aprendizado supervisionado podem ajudar a reduzir as alucinações.
Nota Importante: Um erro que não é Alucinação
Você já usou um modelo que possui tecnologia de acesso a internet, mas quando solicitou uma pesquisa online, ele se recusou a fazer?
Ou um modelo que gerou uma resposta muito curta, mesmo tendo uma ampla “faixa” de tokens de saída (output) para trabalhar?
Ou pediu para um modelo gerar uma imagem (Modelos de Difusão e Redes Generativas Adversárias – GANs, com o uso de Transformers; isto é, um modelo com a função generativa) e ele te respondeu que não era capaz de fazer aquilo?
Pois é, estes casos nós NÃO PODEMOS chamar de alucinação.
Erros desta natureza, geralmente, estão associados a uma combinação de restrições de design (segurança por exemplo), configurações específicas ou ajustes que estão em manutenção, bugs (erros) nos sistemas (envolvendo tecnologias complementares como APIs), problemas com a requisição do usuário – prompt, etc.
Vamos lembrar que a alucinação, em termos técnicos, refere-se mais frequentemente à geração de informações factualmente incorretas ou inexistentes, o que é diferente de uma recusa de tarefa.
Conclusões
Alucinações em Modelos de Linguagem de Grande Escala representam um desafio significativo, porém manejável, no campo da inteligência artificial.
Compreender por que ocorrem e como mitigá-las é crucial para o desenvolvimento de sistemas de IA mais eficazes e confiáveis.
Continuar a pesquisa e a implementação de estratégias de redução de alucinações é imperativo para melhorar a precisão e a confiabilidade desses modelos.
Bom, se você utiliza os modelos a tanto tempo quanto eu, já deve ter notado uma melhoria drástica na redução de volume e apresentação destas alucinações.
Todavia, precisamos sempre estar atentos e buscar conferir informações específicas ou consideradas por nós como importantes.
Fique atualizado com as últimas notícias e desenvolvimentos em IA, inscreva-se para receber nossas atualizações regulares!
