Mensagem do Gate News, 29 de abril — a investigadora de IA Aran Komatsuzaki realizou uma análise comparativa da eficiência de tokenização em seis dos principais modelos de IA, traduzindo o artigo seminal de Rich Sutton “The Bitter Lesson” para nove línguas e processando-o através dos tokenizadores da OpenAI, Gemini, Qwen, DeepSeek, Kimi e Claude. Usando a contagem de tokens da versão em inglês na OpenAI como base (1x), o estudo revelou disparidades significativas: ao processar o mesmo conteúdo em chinês, eram necessários 1.65x tokens no Claude, em comparação com apenas 1.15x na OpenAI. O hindi apresentou um resultado ainda mais extremo no Claude, superando a base em mais de 3x. A Anthropic ficou em último lugar entre os seis modelos testados.
De forma crucial, quando o mesmo texto chinês foi processado em diferentes modelos — todos medidos em relação à mesma base em inglês — os resultados divergiram dramaticamente: o Kimi consumiu apenas 0.81x tokens (até menos do que o inglês), o Qwen 0.85x, enquanto o Claude exigiu 1.65x. Esta diferença revela um problema puro de eficiência de tokenização, e não uma questão inerente ao idioma. Os modelos de chinês demonstraram maior eficiência ao processar chinês, sugerindo que a disparidade decorre da otimização do tokenizador e não do próprio idioma.
As implicações práticas para os utilizadores são substanciais: o aumento do consumo de tokens eleva diretamente os custos da API, aumenta a latência de resposta do modelo e esgota mais rapidamente as janelas de contexto. A eficiência de tokenização depende da composição linguística dos dados de treino de um modelo — modelos treinados predominantemente em inglês comprimem o texto em inglês com maior eficiência, enquanto idiomas com menor representação nos dados são tokenizados em fragmentos menores e menos eficientes.
A conclusão de Komatsuzaki sublinha um princípio fundamental: o tamanho do mercado determina a eficiência de tokenização. Mercados maiores recebem melhor otimização, enquanto os idiomas sub-representados enfrentam custos de tokens significativamente mais elevados.
Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a
Isenção de responsabilidade.
Related Articles
A plataforma de IA Certifyde angaria $2M em financiamento seed com o CEO da Ripple, Brad Garlinghouse
De acordo com a ChainCatcher, a plataforma de aplicações de IA Certifyde anunciou a conclusão de uma ronda de financiamento seed de $2 milhões. Os investidores incluem a K5 Global, a Flamingo Capital e investidores-anjo como o CEO da Ripple, Brad Garlinghouse, o cofundador da Honey, George Ruan, e o cofundador da Nutra, Roland
GateNews1h atrás
A DeepSeek Lança Recurso de Reconhecimento de Imagens em Fase de Testes Beta
De acordo com a PANews, a DeepSeek lançou hoje o seu recurso de reconhecimento de imagens (29 de Abril), actualmente em fase de testes beta. Tanto os utilizadores da versão web como da aplicação móvel poderão ser seleccionados para o lançamento em regime beta.
GateNews2h atrás
A Anthropic Lança 8 Conectores de Ferramentas Criativas para o Claude, Incluindo Blender, Adobe, Autodesk
A Anthropic anunciou um conjunto de conectores de ferramentas criativas que permitem que o Claude controle diretamente software profissional usado por designers e músicos. Os primeiros oito conectores abrangem modelação 3D, design visual, produção musical e atuações ao vivo, com parceiros incluindo Blender, Adobe,
GateNews2h atrás
Casa Branca contorna avaliação de risco do Pentágono para implementar o modelo Mythos da Anthropic a 29 de abril
De acordo com o Whale Factor, a Casa Branca está a contornar a avaliação de risco do Pentágono para implementar o modelo Mythos da Anthropic em agências federais a 29 de abril. A medida visa acelerar as capacidades de IA a nível federal e acompanhar o ritmo das redes de IA descentralizadas. Isto representa uma mudança significativa
GateNews2h atrás
Cognizant para adquirir a Astreya por $600M para expandir o negócio de infraestruturas de IA
De acordo com a Reuters, a 29 de abril, a Cognizant concordou em adquirir a Astreya por aproximadamente $600 milhões, à medida que expande o seu negócio de infraestruturas de IA. A Astreya é uma prestadora de serviços de TI especializada em infraestruturas de IA e serviços de centros de dados. Espera-se que o acordo seja concluído no segundo trimestre
GateNews2h atrás
30 Plugins Maliciosos no ClawHub Disfarçados de Ferramentas de IA, Descarregados Mais de 9.800 Vezes
De acordo com o investigador da Manifold, Ax Sharma, 30 plugins no ClawHub disfarçados de ferramentas de IA legítimas foram descarregados mais de 9.800 vezes, convertendo secretamente os assistentes de IA dos utilizadores em trabalhadores de criptomoeda. Os plugins, publicados sob a conta imaflytok, parecem ser escalonadores de tarefas e ferramentas de monitorização de rotina, mas contêm instruções ocultas que executam operações não autorizadas.
Uma vez instalados, os plugins registam automaticamente os assistentes de IA dos utilizadores em servidores de terceiros, geram carteiras de criptomoeda e extraem chaves privadas sem consentimento nem notificação do utilizador. Os assistentes, em seguida, fazem check-in de 4 em 4 horas à espera de atribuições de tarefas. Sharma salientou que os plugins não contêm código malicioso detetável por analisadores de segurança, recorrendo apenas a interfaces padrão e a ferramentas legítimas, o que os torna difíceis de identificar através de análises de segurança convencionais.
GateNews2h atrás
