Os principais modelos de IA ficam aquém em tarefas empresariais rotineiras, diz a Databricks: modelos especializados e mais pequenos superam

Mensagem do Gate News, 20 de abril — Os principais modelos de IA destacam-se na resolução de problemas complexos, como a matemática das olimpíadas, mas têm dificuldades com o trabalho empresarial rotineiro, de acordo com David Meyer da Databricks. Alguns modelos podem corrigir um número de factura incorrecto em vez de o sinalizarem como erro, enquanto ferramentas de programação como a Claude também podem ter desempenho inferior em tarefas de engenharia de dados.

A lacuna resulta de diferenças fundamentais entre os dados empresariais e o texto público da web usado para treinar grandes modelos. Os dados empresariais têm frequentemente rótulos de colunas pouco claros, inúmeras campos em branco e códigos armazenados como texto simples. Num estudo académico, a pontuação F1 de um modelo de IA, que equilibra precisão e recall, caiu de 0.94 em dados públicos para 0.07 em dados empresariais para uma tarefa de engenharia de dados. Além disso, grandes modelos tendem a recorrer por defeito a padrões familiares do treino; alguns deram como resposta Structured Query Language (SQL) mesmo depois de receber instruções e documentação para a linguagem proprietária de consultas de uma empresa.

Modelos de código aberto mais pequenos, ajustados com aprendizagem por reforço, conseguem lidar com tarefas específicas com mais eficiência e a custos de treino significativamente inferiores do que modelos gerais maiores. A Databricks está a construir agentes de IA mais pequenos para fluxos de trabalho específicos, como o KARL, que usa aprendizagem por reforço para raciocínio multi-etapas com documentos da empresa. A indústria está a passar da dependência de modelos gigantes para arquitecturas híbridas, em que modelos pequenos e eficientes tratam o volume rotineiro e, só depois, elevam apenas os casos pouco claros ou complexos para sistemas maiores e mais dispendiosos.

A Databricks adquiriu recentemente a Quotient AI para ajudar grandes empresas a executar agentes de IA com mais fiabilidade. A concorrência no negócio de IA centra-se agora em gerir todo o ciclo de vida da IA, incluindo sistemas de feedback para monitorizar erros e melhorar continuamente os modelos ao longo do tempo, tornando ferramentas de avaliação e afinação cada vez mais valiosas após a implementação.