Chatbots na identificação de problemas de amamentação: avaliação de desempenho - de Araújo Neto, Ari Pereira; Pinto, Giovanny Rebouças; Corrêa, Joeckson dos Santos; Soares, Liane Batista da Cruz; Batista, Christyann Lima Campos; Pinheiro, Feliciana Santos; Teles, Ariel Soares (Journal of Health Informatics, 2024)
Objetivo: Este estudo objetivou avaliar o desempenho de chatbots de inteligência artificial na identificação de problemas relacionados à amamentação. Método: o estudo avaliou o OpenAI ChatGPT3.5, Microsoft Copilot, Google Gemini e o Lhia na identificação de problemas da amamentação. O chatbot Lhia está em desenvolvimento pelo nosso time de pesquisadores. Através do consenso entre profissionais de saúde especialistas em amamentação, foi criado um conjunto de dados de relatos de queixa clínica principal anotada em prontuários de atendimento do Hospital Universitário da Universidade Federal do Maranhão para os testes com três abordagens de comandos do tipo zero-shot. Resultados: o melhor desempenho foi com ChatGPT-3.5, que apresentou acurácia variando de 79% a 93%, fallback de 0% a 7% e F1-score de 75% a 100%. Conclusão: chatbots de inteligência artificial podem ser uma ferramenta promissora para auxiliar mães e profissionais de saúde na detecção precoce de problemas na amamentação.