AI 研究者 Aran Komatsuzaki 近日在 X 平台發布一項實驗分析，曝光主流大型語言模型 (LLM) 的分詞器 (tokenizer) 存在嚴重的「非英語語言稅 (non-English tax)」問題。其中 Anthropic 旗下 Claude 模型對中日韓語言的素材甚至需消耗高達將近三倍的 token，引發社群議論。
實驗方法：用一篇經典論文量化語言成本差距
Komatsuzaki 以經典文章《The Bitter Lesson》為素材，將其翻譯成中文、印地語、阿拉伯語、韓語、日語等多種語言，再分別送入各大模型的 tokenizer 計算 token 消耗數量。實驗以 OpenAI 英文版本為基準 (1.0×)，透過標準化倍率比較各模型對不同語言的處理效率。
Token 數量直接決定 API 使用費用與回應延遲，token 越多代表成本越高、速度越慢，因此 tokenizer 的效率差異，實際上就是使用者荷包與使用體驗的差距。
Komatsuzaki 也附上了他自己設計，能計算 token 用量的網站：
AI 也有種族歧視？Claude 語言稅最高，印地語首當其衝
OpenAI vs. Anthropic 逐語言 Token 消耗倍率長條圖
數據顯示，OpenAI 各語言的 token 倍率普遍控制在 1.4× 以內，而 Anthropic (Claude) 的差距則極為顯著：
印地語：3.24× (Claude) vs. 1.37× (OpenAI)
阿拉伯語：2.86× (Claude) vs. 1.31× (OpenAI)
俄語：2.04× (Claude) vs. 1.31× (OpenAI)
中文：1.71× (Claude) vs. 1.15× (OpenAI)
換言之，一名印度開發者若使用 Claude 的 API 處理印地語內容，實際支付的費用可能是同樣英文任務的三倍以上，且回應速度也會因 token 數膨脹而顯著下降。
六大模型橫向比較：中國本土模型反超、Gemini 表現最佳
六大模型跨語言 Token 消耗倍率熱力圖
Komatsuzaki 隨後發布的貼文進一步擴大比較範圍，納入 Gemini 3.1、Qwen 3.6、DeepSeek V4、Kimi K2.6 等模型，結果顯示：
Gemini 3.1：1.22× (對非英語用戶最友善)
Qwen 3.6：1.23×
OpenAI：1.33×
DeepSeek V4：1.49×
Kimi K2.6：1.76×
Anthropic：2.07× (對非英語用戶最不友善)
數據能看出，中文在 Qwen (0.85×)、DeepSeek (0.87×)、Kimi (0.81×) 上的 token 消耗則低於英文基準，顯示中國本土模型已針對中文進行深度優化。Komatsuzaki 本人則在回覆中坦言：「我沒想到 Claude 如此糟糕且不平衡。」
社群擔憂：「成本落差」是 AI 普及化過程的嚴重問題
實驗結果在 X 社群中引發強烈共鳴，許多非英語開發者表示，在實際使用中，相同的中文或韓文文件用 Claude 處理，費用確實遠高於 Gemini。
討論也延伸至技術根因：tokenizer 的效率差異主要源於訓練資料以英語內容及拉丁文字為主，導致模型對其他文字系統的理解程度較低，每個字元或詞彙需要消耗更多 token。即便全球印地語使用者多達數億人，但相對稀少的高品質訓練素材加上形態複雜的文字結構，使其成為 AI 使用成本最高的族群。
部分網友則認為，Anthropic 的主要客群偏向英語企業用戶與程式碼開發場景，因此對多語言優化缺乏動力，反觀 OpenAI 則較擅長處理語言內容，直言：「AI 本應是民主化的平等技術，但非英語使用者卻在為語言歧視買單。」
如今，這場圍繞 tokenizer 設計的爭議，已不只是技術問題，更反映出 AI 產業在全球擴張過程中的失衡。
這篇文章 Claude 會收語言稅？研究曝翻譯中日韓內容消耗最多近三倍 token 最早出現於 鏈新聞 ABMedia。
相關文章
