Pesquisadores apresentaram um sistema híbrido de inteligência artificial que combina os modelos Jev e Opus para realizar resolução de identidade com precisão semelhante à de soluções de ponta e custo mais de quatro vezes menor. O experimento foi conduzido nesta semana em um ambiente controlado, com dados simulados de uma cidade fictícia dos Estados Unidos.
A resolução de identidade consiste em associar registros de dados a pessoas reais, garantindo que cada conjunto de informações corresponda a apenas um indivíduo e evitando que alguém seja contabilizado mais de uma vez. O processo é utilizado em áreas como marketing, saúde, serviços financeiros, análise de comportamento e comunicação em larga escala.
O estudo avaliou a capacidade dos modelos Jev e Luna de identificar casos corretos e situações de over-merging, quando registros de mais de uma pessoa são reunidos por engano em uma única identidade. Para isso, os pesquisadores utilizaram a ferramenta pseudopeople, do Instituto de Métricas e Avaliação em Saúde da Universidade de Washington (IHME), capaz de gerar registros artificiais com ruídos semelhantes aos encontrados em bases reais.
Foram criadas 1.000 identidades para o teste. Metade representava uma única pessoa com dados ruidosos, enquanto a outra metade continha casos de over-merging. Os modelos precisaram indicar se havia mais de uma pessoa representada nos registros e atribuir um nível de confiança a cada resposta.
Segundo os pesquisadores, a proposta é substituir parcialmente a revisão manual de identidades. Atualmente, uma equipe humana analisa cerca de 50 identidades por hora e precisa avaliar mais de 1.000 amostras para estimar, com margem inferior a aproximadamente um ponto percentual, a taxa de over-merging de um sistema. Os autores afirmam que um modelo de linguagem poderia analisar até 100 mil identidades em segundos, caso apresentasse desempenho semelhante ao humano.
O problema é considerado complexo porque as pessoas mudam de endereço, cometem erros ao informar nomes e e-mails, compartilham contas e números de telefone, e podem ter seus dados distribuídos em diferentes bancos ao longo do tempo. Como normalmente não existe um gabarito definitivo no mundo real, empresas recorrem à amostragem manual para verificar se seus algoritmos estão agrupando os registros corretamente.
No experimento, a ferramenta pseudopeople simulou diferentes fontes de dados para cada morador, incluindo erros e inconsistências. Os pesquisadores submeteram as 1.000 identidades a diferentes modelos e utilizaram prompts progressivamente mais detalhados, com explicações sobre os tipos de ruído e exemplos explícitos de falhas.
Com esses ajustes, a precisão dos modelos Jev e Luna variou de 88,8% a 97,3%. Os pesquisadores também calibraram o limiar de confiança usado na classificação. Em vez de adotar o padrão de 50%, estabeleceram cortes de 60% para o Jev e 70% para o Luna, buscando maximizar o desempenho de cada modelo.
O Luna, descrito como mais barato e rápido que modelos de ponta como o Opus, apresentou desempenho próximo ao dos sistemas mais avançados. No entanto, em casos complexos, o modelo demonstrou excesso de confiança, mantendo pontuações elevadas mesmo quando cometia erros. Essa característica reduziu o benefício de combiná-lo com um modelo mais caro, pois poucos casos eram encaminhados para uma segunda avaliação.
Para aumentar a dificuldade do teste, a equipe criou situações de over-merging com combinações de ruídos e coincidências capazes de confundir tanto pessoas quanto algoritmos. Nessa etapa, modelos maiores, como o Opus, passaram a apresentar vantagem mais clara sobre os modelos de decisão.
Foi nesse cenário que surgiu o sistema híbrido Jev + Opus. A estratégia utiliza o Jev como uma primeira camada de análise. Embora não seja o modelo mais preciso quando usado isoladamente, ele tende a apresentar boa calibração: quando está em dúvida, sua pontuação se aproxima de 50%, comportamento associado a uma avaliação mais prudente.
Assim, o Jev analisa todos os casos e encaminha ao Opus apenas as identidades em que sua confiança não é suficiente. De acordo com os pesquisadores, essa arquitetura alcança praticamente a mesma precisão do Opus utilizado sozinho, mas com custo mais de quatro vezes menor. Em bases mais difíceis, uma parcela maior dos casos é direcionada automaticamente ao modelo mais caro, elevando o custo apenas quando necessário.
A proposta pode reduzir as despesas de empresas que trabalham com milhões de registros e precisam revisar regularmente seus grafos de identidades. Entre as possíveis áreas de aplicação estão marketing, saúde, serviços financeiros e análise de dados. A automação também pode diminuir a dependência de amostragens manuais e liberar equipes para investigar as causas dos erros e aprimorar os bancos de dados.
Os pesquisadores avaliam que a redução de casos de over-merging pode melhorar indicadores como valor do cliente ao longo do tempo, segmentação de campanhas e detecção de fraudes. Eles também consideram que a combinação entre um modelo barato e bem calibrado e outro mais sofisticado pode inspirar arquiteturas semelhantes em auditorias automatizadas, triagem de documentos complexos e processos de conformidade.
Os resultados, porém, foram obtidos em um ambiente simulado. A próxima etapa prevista é testar o sistema em bases reais, com diferentes níveis de ruído e em setores variados, além de ajustar os limiares de confiança de acordo com cada contexto.
Se o desempenho se mantiver, arquiteturas híbridas poderão ser incorporadas mais amplamente a sistemas de resolução de identidade, pressionando empresas a buscar um equilíbrio maior entre custo e precisão. A abordagem também pode ser aplicada a processos regulatórios e de governança de dados que dependem da identificação correta de indivíduos.
Os pesquisadores afirmam ainda que pretendem investigar o under-merging, situação em que uma mesma pessoa aparece dividida em várias identidades, e testar modelos de decisão de código aberto. Essas etapas podem ampliar o acesso à tecnologia e avaliar sua aplicação em diferentes cenários.
Fonte: Miraí Broadcast