O ChatGPT alcançou 60% de precisão no exame pelo qual os médicos são obrigados a passar para obter autorização para praticar medicina nos EUA, num claro indicativo do seu potencial para ser empregado na educação médica assistida por inteligência artificial (IA).
Pesquisadores do Hospital Geral de Massachusetts (MGH) e da AnsibleHealth, uma prática médica habilitada por tecnologia que presta atendimento a pacientes com doenças respiratórias crônicas e medicamente complexas, descobriram em um estudo recente que o ChatGPT é capaz de ser aprovado no United States Medical Licensing Examination, mais conhecido como USMLE.
De acordo com o estudo do MGH que descreve as descobertas, o ChatGPT, chatbot de IA avançado desenvolvido pela OpenAI e lançado ao público no final do ano passado, a ferramenta é um modelo generativo de aprendizado amplo (LLM), um tipo de aprendizado de máquina projetado para executar tarefas de processamento de linguagem natural (NLP), analisando grandes quantidades de texto e outros dados de linguagem para encontrar padrões e relacionamentos, explica o estudo. Após o treinamento, o modelo pode gerar um novo texto com base no texto em que foi treinado.
O texto gerado pelo ChatGPT pode imitar aquele escrito por um humano e ser usado para responder a perguntas, traduzir texto, resumir informações e gerar histórias usando os padrões identificados nos dados de treinamento para antecipar as próximas palavras em uma frase ou sentença. No entanto, o ChatGPT, ao contrário de outros chatbots de IA, não pode pesquisar na web para informar suas previsões, contando inteiramente com seus dados de treinamento.
A campanha publicitária e as preocupações recentes sobre o uso do ChatGPT na área da saúde, como o uso relatado da ferramenta pelo serviço digital de saúde mental Koko em um experimento para ajudar a desenvolver respostas aos usuários, levantaram questões sobre seus casos de uso.
Para avaliar um aspecto da utilidade potencial do ChatGPT, os pesquisadores avaliaram seu desempenho no USMLE, que consiste em três testes padronizados pelos quais os estudantes de medicina devem passar para obter uma licença médica.
Para fazer isso, a equipe de pesquisa obteve perguntas de teste disponíveis publicamente do exame de amostra de junho de 2022 lançado no site oficial do USMLE. As perguntas foram então examinadas e qualquer pergunta que exigisse avaliação visual foi removida.
A partir daí, as questões foram formatadas de três formas: perguntas abertas, como “qual seria o diagnóstico do paciente com base nas informações fornecidas?”; resposta única de múltipla escolha sem justificativa forçada, como “a condição do paciente é causada principalmente por qual dos seguintes patógenos?”; ou a resposta única de múltipla escolha com justificativa forçada, como “qual das seguintes é a razão mais provável para os sintomas noturnos do paciente? Explique sua justificativa para cada escolha”.
Cada pergunta foi colocada no modelo separadamente para reduzir o viés de retenção de memória da ferramenta.
Durante os testes, os pesquisadores descobriram que o modelo funcionou no limite de 60% de precisão ou próximo a ele, sem informações especializadas de treinadores clínicos. Eles afirmaram que esta é a primeira vez que a IA faz isso.
Os pesquisadores também descobriram, ao avaliar o raciocínio por trás das respostas da ferramenta, que o ChatGPT exibia um raciocínio compreensível e insights clínicos válidos, o que levou a um aumento da confiança e da explicabilidade.
A equipe de pesquisa sugere que essas descobertas destacam como o ChatGPT e outros LLMs podem potencialmente ajudar os alunos na educação médica e serem integrados em ambientes clínicos, como os esforços contínuos da AnsibleHealth para traduzir relatórios médicos técnicos em uma linguagem mais facilmente compreensível para pacientes que usam o ChatGPT.
Outra pesquisa também procurou alavancar a NLP para melhorar os resultados dos pacientes. Em setembro, a Universidade da Califórnia, Irvine (UCI) e a empresa de software Melax Tech firmaram uma parceria para permitir que os pesquisadores da UCI analisassem dados de registros eletrônicos de saúde (EHRs) usando NLP para melhorar a segurança e os resultados do paciente.
Sob a parceria, a UCI incorporará os produtos NLP da Melax Tech na UCI Health Data Science Platform, permitindo que os pesquisadores analisem dados clínicos de texto livre. Os pesquisadores também usarão a ferramenta LANN da Melax Tech para anotar notas clínicas e treinar modelos de NLP, bem como a ferramenta Clamp da empresa para desenvolver e personalizar modelos com várias regras e recursos para extração de informações clínicas. Além disso, a colaboração ajudará a validar quaisquer modelos resultantes usando conjuntos de dados EHR em larga escala e fornecerá oportunidades adicionais de pesquisa.