Mensagem do Gate News, 29 de abril — a pesquisadora de IA Aran Komatsuzaki realizou uma análise comparativa da eficiência de tokenização em seis dos principais modelos de IA traduzindo o artigo seminal de Rich Sutton “The Bitter Lesson” para nove idiomas e processando-os por meio dos tokenizadores da OpenAI, Gemini, Qwen, DeepSeek, Kimi e Claude. Usando a contagem de tokens da versão em inglês na OpenAI como base (1x), o estudo revelou disparidades significativas: processar o mesmo conteúdo em chinês exigiu 1,65x tokens no Claude, em comparação com apenas 1,15x na OpenAI. O hindi mostrou um resultado ainda mais extremo no Claude, excedendo a base em mais de 3x. A Anthropic ficou na última posição entre os seis modelos testados.
Ponto crítico: quando o mesmo texto em chinês foi processado em diferentes modelos—todos medidos contra a mesma base em inglês—os resultados divergem dramaticamente: a Kimi consumiu apenas 0,81x tokens (menos do que o inglês), o Qwen 0,85x, enquanto o Claude exigiu 1,65x. Essa diferença revela um problema puro de eficiência de tokenização, não uma questão inerente de idioma. Os modelos de chinês demonstraram eficiência superior no processamento do chinês, sugerindo que a disparidade decorre da otimização do tokenizador e não do idioma em si.
As implicações práticas para os usuários são substanciais: o aumento do consumo de tokens eleva diretamente os custos da API, amplia a latência de resposta dos modelos e esgota as janelas de contexto com mais rapidez. A eficiência de tokenização depende da composição linguística dos dados de treinamento de um modelo—modelos treinados predominantemente em inglês comprimem o texto em inglês de forma mais eficiente, enquanto idiomas com menor representação em dados são tokenizados em fragmentos menores e menos eficientes.
A conclusão de Komatsuzaki ressalta um princípio fundamental: o tamanho do mercado determina a eficiência de tokenização. Mercados maiores recebem melhor otimização, enquanto idiomas com menor representação enfrentam custos de token significativamente mais altos.
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
Com apoio da OpenAI, a 1X inaugura fábrica de 58.000 pés quadrados na Califórnia e mira 10.000 robôs no primeiro ano
De acordo com a Bloomberg, a 1X Technologies, uma startup de robótica apoiada pela OpenAI e fundada na Noruega, inaugurou uma fábrica de 58.000 pés quadrados em Hayward, Califórnia, com o objetivo de liderar na produção em massa de robôs humanoides voltados ao consumidor.
A instalação deve produzir 10.000 robôs em sua
GateNews1h atrás
Casa Branca prepara minuta de política de IA para orientar agências dos EUA a usar múltiplos provedores de IA em 30 de abril
De acordo com fontes citadas pela PANews em 30 de abril, funcionários da Casa Branca estão redigindo um amplo memorando de política de inteligência artificial que orienta agências do governo dos EUA a adotarem múltiplos provedores de serviços de IA e a evitarem depender de um único fornecedor. O memorando também exige que todas as empresas de IA contratadas
GateNews2h atrás
A Administração Estatal de Ciberespaço da China lança campanha de 4 meses para conter a “bagunça” nas aplicações de IA em 30 de abril
De acordo com a CCTV News, a Administração Estatal de Ciberespaço da China lançou em 30 de abril uma campanha nacional de quatro meses para enfrentar o caos nas aplicações de IA. A iniciativa, implementada em duas fases, mira problemas como registros de modelos ausentes, capacidade insuficiente de segurança e de análise das plataformas,
GateNews2h atrás
Forefront Tech conclui o $100M IPO com preço, listagem na Nasdaq sob o código FTHAU
De acordo com a ChainCatcher, a empresa de aquisição de propósito específico Forefront Tech concluiu a precificação de uma IPO de US$ 100 milhões em 30 de abril e será listada na Nasdaq sob o ticker FTHAU. A empresa planeja usar os recursos para buscar oportunidades de fusões e aquisições em blockchain, fintech, inteligência artificial e
GateNews3h atrás
O código da Anthropic Claude cobrou demais um usuário em US$ 200,98 devido a um bug de cobrança, inicialmente negando o reembolso antes de compensar integralmente
De acordo com o monitoramento da Beating, um bug de faturamento no serviço Claude Code da Anthropic fez com que um assinante Max tivesse sido cobrado em excesso em US$ 200,98 por taxas de uso adicionais, apesar de usar apenas 13% do limite mensal. O bug foi acionado quando o histórico de commits de um repositório git de um usuário continha a letra maiúscula
GateNews4h atrás
DeepSeek Introduz o método de Primitivos Visuais para aprimorar o raciocínio multimodal em 30 de abril
De acordo com o relatório técnico da DeepSeek, em 30 de abril, a empresa apresentou o Visual Primitives, um método que incorpora unidades visuais básicas como pontos e caixas delimitadoras em cadeias de raciocínio para resolver o problema da Lacuna de Referência em tarefas multimodais. O método reduz o consumo de tokens de imagem
GateNews4h atrás
