Evaluating large language models for anaphylaxis detection in clinical notes - Machado, Matheus Matos; Marques, Joice Basílio Machado; Gualdani, Fabrício A.; dos Santos, Monica Pugliese Heleodoro; Lario, Fabio Cerqueira; de Araujo, Chayanne Andrade; Oliveira, Fabiana Andrade Nunes; Ensina, Luis Felipe Chiaverini; Marcacini, Ricardo Marcondes; Moreira, Dilvan (Journal of Health Informatics, 2024)
Objetivo: Este estudo tem como objetivo avaliar o potencial de quatro Modelos de Linguagem de Grande Escala (LLMs) (GPT-4 Turbo, GPT-3.5 Turbo, Gemini 1.0 Pro e OpenChat 3.5) na detecção de anafilaxia em Registros Médicos Eletrônicos (EMRs). Método: O método empregado envolveu a análise de 150 relatórios médicos, utilizando diferentes prompts para testar a capacidade dos LLMs em identificar a anafilaxia. Resultados: Os resultados indicam que todos os modelos obtiveram zero falsos negativos, com destaque para o GPT-4 Turbo, que alcançou 97% de acurácia e 91% de precisão. Conclusão: Conclui-se que os LLMs demonstram potencial para auxiliar na identificação da anafilaxia, especialmente o GPT-4 Turbo. A pesquisa reforça a importância do design eficiente de prompts para otimizar a acurácia dos resultados.