DeepSeek Ra Mắt Loạt Mô Hình Mã Nguồn Mở V4 Với 1,6T Tham Số Và Giấy Phép MIT

Tin cổng, ngày 24 tháng 4 — DeepSeek đã phát hành loạt mô hình mã nguồn mở V4 theo Giấy phép MIT, với trọng số hiện đã có trên Hugging Face và ModelScope. Loạt này bao gồm hai mô hình (MoE) dạng mixture-of-experts: V4-Pro với 1,6 nghìn tỷ tham số tổng và 49 tỷ tham số được kích hoạt mỗi token, và V4-Flash với 284 tỷ tham số tổng và 13 tỷ tham số được kích hoạt mỗi token. Cả hai đều hỗ trợ cửa sổ ngữ cảnh 1 triệu token.

Kiến trúc có ba nâng cấp chính: một cơ chế attention lai kết hợp attention thưa nén (CSA) và attention nén mạnh (HCA), giúp giảm đáng kể chi phí phát sinh cho ngữ cảnh dài—FLOPs suy luận của V4-Pro cho ngữ cảnh 1M chỉ bằng 27% của V3.2, và bộ nhớ đệm KV (VRAM) để lưu thông tin lịch sử trong quá trình suy luận( chỉ bằng 10% của V3.2; các siêu liên kết ràng buộc đa tạp )mHC( thay thế các kết nối residual truyền thống để tăng cường độ ổn định lan truyền tín hiệu giữa các lớp; và bộ tối ưu hóa Muon để hội tụ huấn luyện nhanh hơn. Tiền huấn luyện sử dụng hơn 32 nghìn tỷ token dữ liệu.

Hậu huấn luyện áp dụng phương pháp hai giai đoạn: đầu tiên huấn luyện các chuyên gia theo miền thông qua supervised fine-tuning )SFT( và học tăng cường GRPO, sau đó hợp nhất chúng thành một mô hình thông qua chưng cất trực tuyến. V4-Pro-Max )highest inference mode tuyên bố là mô hình mã nguồn mở mạnh nhất với các bộ đánh giá mã hóa hàng đầu và khoảng cách thu hẹp đáng kể so với các mô hình “biên” mã nguồn đóng về các tác vụ suy luận và tác nhân. V4-Flash-Max đạt hiệu năng suy luận tầm Pro với đủ ngân sách tính toán nhưng bị giới hạn bởi quy mô tham số đối với kiến thức thuần túy và các tác vụ tác nhân phức tạp. Trọng số được lưu ở độ chính xác kết hợp FP4+FP8.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.

Bài viết liên quan

DeepRoute.ai Hệ thống hỗ trợ lái nâng cao đột phá 300.000 xe triển khai: Mục tiêu 2026 là đội xe NOA 1 triệu xe trong các thành phố

DeepRoute.ai thông báo rằng hệ thống hỗ trợ lái nâng cao của họ đã được triển khai tích lũy hơn 300.000 xe tại Trung Quốc, và trong năm qua đã giúp tránh hơn 180.000 lần tai nạn tiềm ẩn. Mục tiêu cho năm 2026 là đội xe NOA tại các thành phố đạt 1 triệu xe, với tỷ lệ sử dụng vượt quá 50%, được xem là chìa khóa cho việc thương mại hóa quy mô lớn của Robotaxi. Động thái này cho thấy việc lái xe tự động tại Trung Quốc đã bước vào giai đoạn sử dụng thường nhật, đồng thời tạo ra sự phân kỳ so với lộ trình tích hợp dọc với Mỹ, ảnh hưởng đến tiến độ của chuỗi cung ứng khu vực châu Á – Thái Bình Dương.

ChainNewsAbmedia23phút trước

DeepSeek phát hành mô hình V4-Pro và V4-Flash với chi phí thấp hơn 98% so với GPT-5.5 Pro của OpenAI

Tin cổng Gate News, ngày 25 tháng 4 — DeepSeek đã phát hành các phiên bản xem trước của V4-Pro và V4-Flash vào ngày 24 tháng 4, cả hai đều là các mô hình open-weight với cửa sổ ngữ cảnh một triệu token. V4-Pro có 1,6 nghìn tỷ tổng tham số nhưng chỉ kích hoạt 49 tỷ trên mỗi lượt suy luận, sử dụng kiến trúc Mixture-of-Experts.

GateNews5giờ trước

Thẩm phán bác bỏ các cáo buộc gian lận trong vụ kiện OpenAI của Elon Musk; Vụ án tiến tới xét xử với hai cáo buộc còn lại

Tin Cổng, ngày 24 tháng 4 — Một thẩm phán liên bang đã bác bỏ các cáo buộc gian lận trong vụ kiện của Elon Musk chống lại OpenAI, Sam Altman, Greg Brockman và Microsoft, mở đường để vụ việc được đưa ra xét xử dựa trên hai cáo buộc còn lại: vi phạm tín thác từ thiện và làm giàu bất chính. Mỹ.

GateNews8giờ trước

Giám đốc điều hành OpenAI Sam Altman xin lỗi vì đã không báo cáo tài khoản bị cấm của kẻ xả súng tại trường học cho cảnh sát

Tin tức cổng Gate News, ngày 25 tháng 4 — Giám đốc điều hành OpenAI Sam Altman đã xin lỗi cộng đồng Tamborine ở Canada vì công ty đã không thông báo cho cảnh sát về một tài khoản bị cấm liên quan đến Jesse Van Rootselaar, người đã giết tám người tại một trường học vào tháng 2 trước khi tự sát. OpenAI

GateNews9giờ trước

Các Tiểu vương quốc Ả Rập Thống nhất (UAE) Công bố Chuyển hướng sang Mô hình Chính phủ dựa trên AI trong Hai Năm Tiếp theo

H.H. Sheikh Mohammed bin Rashid Al Maktoum cho biết mục tiêu là 50% các lĩnh vực của chính phủ hoạt động thông qua AI tác nhân tự chủ. Quá trình chuyển đổi cũng sẽ bao gồm việc đào tạo các nhân viên liên bang để “thành thạo AI” và sẽ được giám sát bởi Sheikh Mansour bin Zayed. Các điểm chính:

Coinpedia9giờ trước

Nền tảng giao dịch AI Fere AI huy động 1,3 triệu USD, được dẫn dắt bởi Ethereal Ventures

Tin tức từ Gate, ngày 25 tháng 4 — Fere AI, một nền tảng giao dịch tài sản số được hỗ trợ bởi AI, đã công bố việc hoàn tất một vòng gọi vốn trị giá 1,3 triệu USD do Ethereal Ventures dẫn dắt, với sự tham gia của Galaxy Vision Hill và Kosmos Ventures, theo Globenewswire. Nền tảng hỗ trợ các mạng xuyên chuỗi bao gồm Ethereum, Solana và Base, cho phép người dùng mô tả mục tiêu giao dịch của họ bằng ngôn ngữ tự nhiên trong khi các tác nhân AI thực hiện lệnh giao dịch. Số vốn mới huy động sẽ được phân bổ để mở rộng phát triển nền tảng và tối ưu hóa các chiến lược giao dịch.

GateNews10giờ trước
Bình luận
0/400
Không có bình luận