Avaliação de grandes modelos de linguagem na extração de informações clínica - Mello, Carlos Eduardo Rodrigues; Schneider, Elisa Terumi Rubel; Silva e Oliveira, Lucas Emanuel; do Nascimento, Juliana Nabbouh; Gumie, Yohan Bonescki; de Araújo, Isabela Fontes; Moro, Claudia (Journal of Health Informatics, 2024)
Objetivo: investigar a eficácia dos modelos de linguagem de grande escala (LLM) no reconhecimento de entidades nomeadas (NER) em notas clínicas em português. Método: Foi analisado o desempenho dos modelos de linguagem GPT-3.5, Gemini, Llama-3 e Sabiá-2, na realização de NER em 30 notas clínicas para identificação das entidades "Sinais ou Sintomas", "Doenças ou Síndromes" e "Dados Negados". A tarefa de NER foi avaliada pelos resultados da precisão, recall e F-score em cada um destes LLMs. Resultados: O modelo Llama-3 apresentou desempenho superior, especialmente em sensibilidade, alcançando um F-score de 0,538. O GPT-3.5 demonstrou desempenho equilibrado, enquanto o Gemini mostrou maior precisão, mas menor sensibilidade. Conclusão: Os resultados indicam que a escolha do modelo depende da ponderação adequada desses fatores em relação aos requisitos individuais de cada aplicação clínica.