Tin tức Gate, 29 tháng 4 — Nhà nghiên cứu AI Aran Komatsuzaki đã tiến hành phân tích so sánh hiệu quả mã hóa token trên sáu mô hình AI lớn bằng cách dịch bài nghiên cứu mang tính nền tảng của Rich Sutton “The Bitter Lesson” sang chín ngôn ngữ và xử lý chúng qua bộ mã hóa của OpenAI, Gemini, Qwen, DeepSeek, Kimi và Claude. Dùng số lượng token của phiên bản tiếng Anh trên OpenAI làm mốc cơ sở (1x), nghiên cứu cho thấy sự chênh lệch đáng kể: khi xử lý cùng một nội dung bằng tiếng Trung, Claude cần 1.65x token, trong khi OpenAI chỉ cần 1.15x. Tiếng Hindi cho kết quả còn cực đoan hơn trên Claude, vượt mốc cơ sở hơn 3x. Anthropic xếp vị trí thấp nhất trong số sáu mô hình được thử nghiệm.
Điểm mấu chốt là, khi cùng một văn bản tiếng Trung được xử lý trên các mô hình khác nhau—tất cả đều được đo so với cùng một mốc nền tiếng Anh—kết quả lại phân kỳ mạnh mẽ: Kimi chỉ tiêu thụ 0.81x token (thậm chí ít hơn cả tiếng Anh), Qwen 0.85x, trong khi Claude cần 1.65x. Khoảng cách này cho thấy một vấn đề thuần túy về hiệu quả mã hóa token, chứ không phải vấn đề vốn có của ngôn ngữ. Các mô hình tiếng Trung thể hiện hiệu quả cao hơn khi xử lý tiếng Trung, gợi ý rằng sự chênh lệch bắt nguồn từ việc tối ưu hóa bộ mã hóa thay vì từ bản thân ngôn ngữ.
Ý nghĩa thực tiễn đối với người dùng là rất lớn: việc tiêu thụ token nhiều hơn trực tiếp làm tăng chi phí API, kéo dài độ trễ phản hồi của mô hình và làm cạn kiệt nhanh hơn các cửa sổ ngữ cảnh. Hiệu quả mã hóa token phụ thuộc vào thành phần ngôn ngữ trong dữ liệu huấn luyện của một mô hình—những mô hình được huấn luyện chủ yếu bằng tiếng Anh sẽ nén văn bản tiếng Anh hiệu quả hơn, trong khi các ngôn ngữ có mức độ dữ liệu thể hiện thấp hơn sẽ được mã hóa thành các mảnh nhỏ hơn, kém hiệu quả hơn.
Kết luận của Komatsuzaki nhấn mạnh một nguyên tắc cơ bản: quy mô thị trường quyết định hiệu quả mã hóa token. Thị trường càng lớn thì mức tối ưu càng tốt, còn các ngôn ngữ ít được đại diện sẽ phải chịu chi phí token cao hơn đáng kể.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo
Tuyên bố miễn trừ trách nhiệm.
Bài viết liên quan
DeepSeek Ra Mắt Tính Năng Nhận Diện Hình Ảnh Trong Giai Đoạn Thử Nghiệm Beta
Theo PANews, DeepSeek đã ra mắt tính năng nhận diện hình ảnh của mình vào hôm nay (29 tháng 4), hiện đang trong giai đoạn thử nghiệm beta. Cả người dùng phiên bản web và ứng dụng di động đều có thể được chọn tham gia đợt triển khai beta.
GateNews46phút trước
Anthropic Ra Mắt 8 Bộ Kết Nối Công Cụ Sáng Tạo Cho Claude, Bao Gồm Blender, Adobe, Autodesk
Anthropic đã công bố một bộ các bộ kết nối công cụ sáng tạo, cho phép Claude trực tiếp điều khiển phần mềm chuyên nghiệp được sử dụng bởi các nhà thiết kế và nhạc sĩ. Tám bộ kết nối ban đầu bao quát mô hình hóa 3D, thiết kế trực quan, sản xuất âm nhạc và biểu diễn trực tiếp, với các đối tác bao gồm Blender, Adobe,
GateNews46phút trước
Nhà Trắng bỏ qua đánh giá rủi ro của Lầu Năm Góc để triển khai mô hình Mythos của Anthropic vào ngày 29 tháng 4
Theo Whale Factor, Nhà Trắng đang bỏ qua đánh giá rủi ro của Lầu Năm Góc để triển khai mô hình Mythos của Anthropic trên toàn các cơ quan liên bang vào ngày 29 tháng 4. Động thái này nhằm đẩy nhanh năng lực AI của liên bang và bắt kịp tốc độ của các mạng AI phi tập trung. Đây là một sự thay đổi đáng kể
GateNews52phút trước
Cognizant sẽ mua lại Astreya với giá $600M để mở rộng hoạt động hạ tầng AI
Theo Reuters, vào ngày 29 tháng 4, Cognizant đã đồng ý mua lại Astreya với giá khoảng $600 triệu USD khi công ty mở rộng mảng kinh doanh hạ tầng AI. Astreya là nhà cung cấp dịch vụ CNTT chuyên về hạ tầng AI và dịch vụ trung tâm dữ liệu. Thương vụ dự kiến sẽ được hoàn tất trong quý II
GateNews1giờ trước
30 Plugin Độc Hại Trên ClawHub Ngụy Trang Như Công Cụ AI, Được Tải Xuống Hơn 9.800 Lần
Theo nghiên cứu của nhà nghiên cứu Manifold Ax Sharma, 30 plugin trên ClawHub được ngụy trang như các công cụ AI hợp pháp đã được tải xuống hơn 9.800 lần trong khi bí mật chuyển đổi các trợ lý AI của người dùng thành công nhân tiền mã hóa. Các plugin này, được đăng tải dưới tài khoản imaflytok, trông như các bộ lập lịch tác vụ thông thường a
GateNews1giờ trước
Parallel của Parag Agrawal huy động $100M Series B cho hạ tầng tìm kiếm tác nhân AI
Theo Beating, Parallel Web Systems được thành lập bởi cựu CEO Twitter Parag Agrawal, đã hoàn tất vòng Series B trị giá $100 triệu USD do Sequoia Capital dẫn dắt, định giá công ty ở mức $2 tỷ USD. Kleiner Perkins, Index Ventures và Khosla Ventures cũng tham gia. Khoản tài trợ này xuất hiện sáu tháng sau khi công ty huy động triệu USD ở vòng Series A với mức định giá triệu USD, gần như gấp ba lần định giá của mình.
GateNews1giờ trước
