Xiaomi Tiết Lộ Chi Tiết Huấn Luyện MiMo-V2-Pro: Tham Số Mô Hình 1T, Triển Khai Hàng Nghìn GPU

Tin tức Cổng, ngày 24 tháng 4 — Trưởng nhóm mô hình ngôn ngữ lớn của Xiaomi, Luo Fuli, đã tiết lộ trong một cuộc phỏng vấn chuyên sâu rằng mô hình MiMo-V2-Pro có tổng cộng 1 nghìn tỷ tham số và để huấn luyện cần hàng nghìn GPU. Cô cho biết quy mô 1T là ngưỡng tối thiểu để đạt hiệu năng tiến gần tới Claude Opus 4.6 và giành vé vào cửa cạnh tranh cho giai đoạn tiếp theo của các tác nhân AI.

Về mặt kỹ thuật, phiên bản Pro sử dụng cơ chế chú ý thưa cực đoan với tỷ lệ 7:1 giữa chú ý toàn cục và chú ý theo cửa sổ trượt, nhằm kiểm soát chi phí suy luận cho xử lý ngữ cảnh dài. Mô hình cũng giữ lại kiến trúc MTP (Dự đoán Nhiều Token) để tận dụng phần năng lực tính toán dư thừa cho suy luận nhanh hơn.

Về phía quản lý, đội MiMo gồm 100 người chỉ có 30-40 người trực tiếp tham gia vào các vòng lặp cốt lõi. Nhóm hoạt động mà không có phân cấp chính thức hay chia tách nhóm con rõ ràng, cũng như không có hạn chót giao hàng. Khi gặp các vấn đề số học không ổn định như việc tăng vọt loss trong huấn luyện, nhóm ưu tiên dừng huấn luyện để điều tra, ngay cả khi điều đó đồng nghĩa với việc dừng hoạt động trong một hoặc hai tuần và phát sinh chi phí tính toán lên tới hàng triệu đô la.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.

Bài viết liên quan

Anthropic Triển khai các biện pháp bảo vệ bầu cử cho Claude trước thềm cuộc bầu cử giữa nhiệm kỳ năm 2026

Anthropic đã công bố vào thứ Sáu một loạt biện pháp nhằm bảo vệ tính toàn vẹn bầu cử, được thiết kế để ngăn chatbot AI Claude của hãng bị biến thành công cụ vũ khí nhằm lan truyền thông tin sai lệch hoặc thao túng cử tri trước thềm cuộc bầu cử giữa kỳ năm 2026 tại Mỹ và các cuộc tranh cử lớn khác trên khắp thế giới trong năm nay. Trụ sở tại San Francisco-based

CryptoFrontier13phút trước

DeepRoute.ai Hệ thống hỗ trợ lái nâng cao đột phá 300.000 xe triển khai: Mục tiêu 2026 là đội xe NOA 1 triệu xe trong các thành phố

DeepRoute.ai thông báo rằng hệ thống hỗ trợ lái nâng cao của họ đã được triển khai tích lũy hơn 300.000 xe tại Trung Quốc, và trong năm qua đã giúp tránh hơn 180.000 lần tai nạn tiềm ẩn. Mục tiêu cho năm 2026 là đội xe NOA tại các thành phố đạt 1 triệu xe, với tỷ lệ sử dụng vượt quá 50%, được xem là chìa khóa cho việc thương mại hóa quy mô lớn của Robotaxi. Động thái này cho thấy việc lái xe tự động tại Trung Quốc đã bước vào giai đoạn sử dụng thường nhật, đồng thời tạo ra sự phân kỳ so với lộ trình tích hợp dọc với Mỹ, ảnh hưởng đến tiến độ của chuỗi cung ứng khu vực châu Á – Thái Bình Dương.

ChainNewsAbmedia1giờ trước

DeepSeek phát hành mô hình V4-Pro và V4-Flash với chi phí thấp hơn 98% so với GPT-5.5 Pro của OpenAI

Tin cổng Gate News, ngày 25 tháng 4 — DeepSeek đã phát hành các phiên bản xem trước của V4-Pro và V4-Flash vào ngày 24 tháng 4, cả hai đều là các mô hình open-weight với cửa sổ ngữ cảnh một triệu token. V4-Pro có 1,6 nghìn tỷ tổng tham số nhưng chỉ kích hoạt 49 tỷ trên mỗi lượt suy luận, sử dụng kiến trúc Mixture-of-Experts.

GateNews6giờ trước

Thẩm phán bác bỏ các cáo buộc gian lận trong vụ kiện OpenAI của Elon Musk; Vụ án tiến tới xét xử với hai cáo buộc còn lại

Tin Cổng, ngày 24 tháng 4 — Một thẩm phán liên bang đã bác bỏ các cáo buộc gian lận trong vụ kiện của Elon Musk chống lại OpenAI, Sam Altman, Greg Brockman và Microsoft, mở đường để vụ việc được đưa ra xét xử dựa trên hai cáo buộc còn lại: vi phạm tín thác từ thiện và làm giàu bất chính. Mỹ.

GateNews9giờ trước

Giám đốc điều hành OpenAI Sam Altman xin lỗi vì đã không báo cáo tài khoản bị cấm của kẻ xả súng tại trường học cho cảnh sát

Tin tức cổng Gate News, ngày 25 tháng 4 — Giám đốc điều hành OpenAI Sam Altman đã xin lỗi cộng đồng Tamborine ở Canada vì công ty đã không thông báo cho cảnh sát về một tài khoản bị cấm liên quan đến Jesse Van Rootselaar, người đã giết tám người tại một trường học vào tháng 2 trước khi tự sát. OpenAI

GateNews10giờ trước

Các Tiểu vương quốc Ả Rập Thống nhất (UAE) Công bố Chuyển hướng sang Mô hình Chính phủ dựa trên AI trong Hai Năm Tiếp theo

H.H. Sheikh Mohammed bin Rashid Al Maktoum cho biết mục tiêu là 50% các lĩnh vực của chính phủ hoạt động thông qua AI tác nhân tự chủ. Quá trình chuyển đổi cũng sẽ bao gồm việc đào tạo các nhân viên liên bang để “thành thạo AI” và sẽ được giám sát bởi Sheikh Mansour bin Zayed. Các điểm chính:

Coinpedia10giờ trước
Bình luận
0/400
Không có bình luận