Quando a Sofya, empresa de inteligência artificial voltada para a saúde, decidiu desenvolver ferramentas para reduzir o tempo que médicos e profissionais gastam com tarefas administrativas — permitindo que se concentrem mais no atendimento aos pacientes — optou por uma abordagem de código aberto. A companhia escolheu o Llama, modelo de linguagem lançado pela Meta AI em fevereiro de 2023, para ajudar no desenvolvimento de modelos e conjuntos de dados que serão disponibilizados para a comunidade de IA, incentivando novas soluções para o setor no Brasil e na América Latina.
“Nossa utilização do Llama está alinhada à missão da Sofya de atuar como um mecanismo de raciocínio para a saúde de precisão, otimizando a estruturação de dados e apoiando a excelência clínica. Com o aumento da eficiência e escalabilidade proporcionado pela tecnologia, estamos nos preparando para alcançar a marca de 1 milhão de consultas por mês”, afirma Marcelo Mearim, CEO da Sofya.
Ao buscar um modelo de linguagem avançado, a equipe da Sofya considerou fatores como capacidade, transparência e desempenho. O Llama foi escolhido também pelo seu ecossistema ativo de desenvolvedores e cientistas, que contribuem continuamente para aprimorar os modelos. “A adaptabilidade do Llama para diferentes casos de uso faz dele uma opção robusta para empresas que enfrentam desafios semelhantes”, destaca Mearim.
Integração do Llama para soluções em tempo real
Os modelos da Sofya são treinados e hospedados na Oracle Cloud, utilizando Sglang para a inferência e entrega de suas soluções. A implementação do modelo Llama contou com recursos disponibilizados pela comunidade de código aberto, incluindo modelos pré-treinados e ferramentas oferecidas pela plataforma Hugging Face e LangSmith.
O modelo foi adaptado pela equipe da Sofya com treinamentos específicos em dados clínicos, permitindo automatizar tarefas essenciais, como estruturação de informações médicas, reconhecimento de entidades clínicas e respostas precisas a perguntas médicas. Isso contribui diretamente para aumentar a eficiência operacional e reduzir erros nos processos clínicos.
Para oferecer respostas rápidas e eficientes, a equipe treinou a versão de 8 bilhões de parâmetros do modelo Llama, alcançando uma performance equivalente à de modelos até oito vezes maiores, com tempo de resposta na faixa dos milissegundos. Além disso, utilizamos uma técnica avançada de quantização que reduz o tamanho dos modelos maiores em até 40%, preservando 99% da acurácia original. Essa otimização diminui significativamente o consumo de memória e o custo de inferência, garantindo resultados ágeis e precisos.
Além disso, a equipe utilizou técnicas avançadas para melhorar o desempenho de modelos menores. Aplicou a técnica de destilação, na qual um modelo maior (como o Llama 405B) atua como um “professor”, transferindo o que aprendeu para modelos menores (como os de 70B, 8B e 3B, que atuam como “alunos”). Essa abordagem gera dados artificiais ricos, utilizados para aprimorar significativamente a precisão e a agilidade dos modelos menores. Além disso, a equipe refinou essas instruções por meio de métodos de autoavaliação, assegurando a consistência e a qualidade do treinamento.
A implementação do Llama trouxe ganhos operacionais, redução de custos de processamento de modelos de linguagem e maior precisão nas respostas. Os modelos são hospedados na infraestrutura da Sofya, dentro da Oracle Cloud no Brasil, reforçando a segurança dos dados.
Desde a adoção do Llama, a Sofya registrou uma redução de até 30% no tempo gasto com documentação e tarefas administrativas por consulta. Profissionais de saúde relataram melhorias no fluxo de trabalho, na eficiência e na experiência do paciente, com um índice médio de satisfação (CSAT) de 90%.
A empresa também planeja a implementação do Llama 70B em um fluxo automatizado que combina diferentes ferramentas e técnicas de recuperação de informações para uso em tempo real. “A Sofya busca tornar mais simples a integração entre tecnologia e atendimento humanizado”, explica Bruno Dorneles, Cientista de Dados da Sofya. “Nosso objetivo é permitir que os profissionais de saúde passem mais tempo com os pacientes, aproveitando ao máximo as possibilidades oferecidas pela automação e pela inteligência artificial.”