Misinformation Identification with LLMs
Funded by FAPERGS · CNPq · PUCRS Financiado pela FAPERGS · CNPq · PUCRS
Funded by Financiamento
This project proposes a method for the automatic identification of misinformation, built on a Large Language Model (LLM) fine-tuned for the health domain in the Portuguese language. Misinformation is especially harmful in public health, where it undermines vaccination campaigns, spreads ineffective treatments, and erodes trust in institutions such as Brazil's Unified Health System (SUS). The guiding research question is how to integrate LLMs with Retrieval-Augmented Generation (RAG) to detect and counter scientific misinformation in health.
To accomplish this, we develop a new module for sentence-embedding generation combined with the RAG technique. This integration lets the model not only generate responses but also draw on external, trusted sources, reducing the occurrence of hallucinations. By grounding generation in reliable and up-to-date data, the system can flag potentially false or misleading assertions and suggest references that support or refute a claim. The system will be made available through an API for the analysis of external information.
Expected outcomes include a new fine-tuning module for sentence embeddings that adapts embedding models by modifying roughly 1% of the model's parameters, an LLM adapted to the health domain in Portuguese released openly on Hugging Face, and a functional RAG system for misinformation reduction, alongside scientific publications and technical reports.
Este projeto propõe um método para a identificação automática de desinformação, baseado em um LLM ajustado para o domínio da saúde no idioma português. A desinformação é especialmente danosa na saúde pública, onde compromete campanhas de vacinação, dissemina tratamentos ineficazes e enfraquece a confiança em instituições como o Sistema Único de Saúde (SUS). A pergunta de pesquisa que orienta o projeto é como integrar LLMs a sistemas de Recuperação e Geração de Informações (RAG) para detectar e combater a desinformação científica em saúde.
Para isso, desenvolvemos um novo módulo para geração de embeddings de sentença combinado com a técnica de RAG. Essa integração permite que o modelo, além de gerar respostas, utilize fontes externas consideradas confiáveis, reduzindo a ocorrência de alucinações. Ao ancorar a geração em dados confiáveis e atualizados, o sistema consegue sinalizar asserções potencialmente falsas ou enganosas e sugerir referências que corroborem ou refutem uma afirmação. O sistema será disponibilizado por meio de uma API, permitindo a análise de informações externas.
Os resultados esperados incluem um novo módulo para fine-tuning de embeddings de sentença que adapta modelos modificando cerca de 1% dos parâmetros, um LLM adaptado ao domínio da saúde em português disponibilizado abertamente na Hugging Face e um sistema de RAG funcional para redução de desinformação, além de publicações científicas e relatórios técnicos.