Ler na fonte |

Introdução

Devemos compreender primeiro como funcionam os Modelos de IA. A IA recebe informações de inúmeras fontes de informação, como páginas da web na World Wide Web, livros, jornais, artigos e assim por diante. Esses dados são armazenados como nós em Redes Neurais. A IA generativa apenas prevê a próxima palavra mais provável. O próximo caminho de conexão do Nó que deve ser levado para produzir a resposta à sua pergunta. Isso significa que nenhum cientista de dados pode examinar ou prever a saída da IA Generativa. São apenas conexões entre palavras. Como examinar estas conexões entre as palavras?

Alucinações da IA Generativa

É uma crença comum que os LLM (Large Language Models) da IA alucinam e dão informações inexistentes. Não inventam nenhuma história. Apenas refletem as informações que receberam como entrada, o prompt. Essa entrada também é ponderada. Isso significa que as informações são reiteradas muitas vezes de muitas fontes, com base na prevalência de informações nas suas fontes. Se pedirmos dados raros, eles são menos ponderados, o que significa que não são reiterados de muitas fontes. A autenticidade desses dados depende dessas poucas fontes. Se as fontes for autênticas, obtemos informações confiáveis, se não, as informações serão erradas, aquilo a que todos chamam alucinações.

Viés em IA Generativa

Os vieses na IA generativa funcionam da mesma maneira. A IA não tem como alvo nenhum grupo étnico ou comunidade. Apenas reflete o que está na World Wide Web e nas suas outras fontes. Podemos não gostar dos factos que estão na World Wide Web, como por exemplo, de casos criminais nos tribunais ou dos trabalhos sem qualidade que eles fazem. Mas factos são factos. Apenas refletem a verdade, que é reiterada muitas vezes. Se quisermos lidar com vieses, esses dados precisam de ser manipulados de maneira a que as pessoas gostem da resposta. Este método é um fardo para os LLM e pode realmente levar a histórias alucinantes que as pessoas querem contar.

Engenharia de prompts

A solução para alucinações é escrever o prompt correto. Devemos dizer explicitamente à IA Generativa para fornecer informações de acordo com as nossas necessidades. Por exemplo, houve uma alegação de um advogado, que julgou um caso no tribunal dos EUA, usando a IA Generativa. Ele apresentou um caso com argumentos de casos anteriores como X versus Tribunal e Y contra Tribunal. Eles descobriram que todos os casos produzidos pela IA generativa foram alucinações. Eles não eram de facto alucinações, mas má sugestão do advogado. Ele deveria ter pedido explicitamente à IA para apresentar casos reais, com links para provas. A IA limitou-se a apresentar casos de sites que produzem informações falsas ou simplesmente considerou alguns casos de Histórias de Ficção e Romances. Como podemos culpar a IA por isso? Devemos introduzir sempre um prompt elaborado com detalhes completos para obtermos a resposta que desejamos. A Engenharia de prompts é a única solução.

Qualidade dos Inputs

Este é um tópico complexo e uma área de pesquisa. A razão para as chamadas alucinações e provavelmente alguns erros é causada pelo input de entrada nos LLMs. Como obter apenas informações confiáveis ou pelo menos classificar as melhores fontes de entrada em primeiro lugar? O Google tem classificação de página. Mas os LLM foram alimentados com a maior parte dessa informação. Então, em vez de voltar à linha inicial, podemos repetir a saída de LLM com dados de primeira qualidade e apresentá-los ao utilizador final. Esta é uma área de pesquisa que os Cientistas de Dados podem ter em conta para o desenvolvimento da Inteligência Artificial, que afeta todos os campos e ajuda a aumentar a produtividade dos funcionários.

Referência: January 12, 2024, Apps, S. G. link F. T. P. E. O., November 17, 2023, Comment, P. a, & more, R. (n.d.). Retrieved from https://artificialintelligencebydeepak.blogspot.com/2024/01/hallucinations-of-ai-and-quality-of.html