DeepSeek 发布 V4 开源模型系列:1.6T 参数与 MIT 许可

Gate News 消息,4 月 24 日——DeepSeek 已在 MIT 授权下发布 V4 系列开源模型,权重现已在 Hugging Face 和 ModelScope 上提供。该系列包含两个 (MoE) 混合专家(Mixture-of-Experts)模型:V4-Pro 总参数 1.6 万亿、每 token 激活 49 亿,以及 V4-Flash 总参数 2840 亿、每 token 激活 13 亿。两者都支持 100 万 token 的上下文窗口。

该架构包含三项关键升级:混合注意力机制,将压缩稀疏注意力 (CSA) 与高度压缩注意力 (HCA) 结合,大幅降低长上下文开销——V4-Pro 在 100 万上下文下的推理 FLOPs 仅为 V3.2 的 27%,用于推理过程中存储历史信息的 KV cache (VRAM) 也仅为 V3.2 的 10%;用流形约束超连接 (mHC) 替代传统残差连接,以增强跨层信号传播稳定性;以及用于更快训练收敛的 Muon 优化器。预训练使用了超过 32 万亿个 token 的数据。

后训练采用两阶段策略:首先通过监督微调 (SFT) 和基于 GRPO 的强化学习训练领域专属专家,然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 宣称是最强的开源模型,拥有顶级编码基准,并在推理与智能体任务上显著缩小了与闭源前沿模型之间的差距。V4-Flash-Max 在足够的计算预算下达到 Pro 级推理性能,但在纯知识与复杂智能体任务上会受限于参数规模。权重以混合 FP4+FP8 精度存储。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

DeepSeek V4-Pro API 享受 75% 折扣,至 5 月 5 日止;輸出價格降至每百萬 tokens $0.87

門戶新聞訊息,4 月 26 日—DeepSeek 宣布在限時期間提供 V4-Pro API 定價 75% 折扣,折扣有效期截至 5 月 5 日 15:59 UTC。折扣後,每百萬 tokens 的定價為:輸入快取命中 $0.03625

GateNews3分鐘前

Anthropic 在 2026 年中期選舉前為 Claude 部署選舉防護措施

Anthropic 週五宣布了一套選舉可信度措施,旨在防止其 Claude AI 聊天機器人被武器化,以在 2026 年美國中期選舉以及今年全球其他重大競選活動之前散播錯誤資訊或操縱選民。總部位於舊金山的

Crypto Frontier5小時前

DeepRoute.ai 進階輔助駕駛系統突破 30 萬車輛部署:2026 目標 100 萬城市 NOA 車隊

DeepRoute.ai 宣布其進階輔助駕駛在中國累計部署逾30萬輛,過去一年協助避免逾18萬次潛在事故。2026 年目標為城市 NOA 車隊達100 萬輛、使用率超過 50%,被視為 Robotaxi 大規模商用化的關鍵。此舉顯示中國自駕已進入常態化使用,同時與美國垂直整合路徑形成分野,影響亞太供應鏈時序。

鏈新聞abmedia6小時前

DeepSeek 以 98% 低於 OpenAI 的 GPT-5.5 Pro 成本發布 V4-Pro 與 V4-Flash 模型

Gate News 消息,4 月 25 日——DeepSeek 於 4 月 24 日發布 V4-Pro 與 V4-Flash 的預覽版本;兩者皆為開放權重模型,擁有一百萬 token 的上下文視窗。V4-Pro 具備 1.6 兆的總參數,但在每次推論時僅啟用 490 億參數,並採用 Mixture-of-Experts 架構。

GateNews11小時前

法官駁回 Elon Musk 在其 OpenAI 訴訟中的詐欺指控;案件將隨兩項剩餘指控進入審判

Gate News 訊息,4 月 24 日——一名聯邦法官駁回了 Elon Musk 針對 OpenAI、Sam Altman、Greg Brockman 與 Microsoft 提出的訴訟中的詐欺指控,為案件就剩下的兩項指控進入審判鋪平道路:違反慈善信託與不當得利。美國。

GateNews15小時前

OpenAI執行長山姆·奧特曼為未向警方通報校園槍手的被封禁帳號道歉

閘門新聞訊息,4月25日——OpenAI首席執行官山姆·奧特曼向加拿大Tamborine社區道歉,因為該公司未能就與Jesse Van Rootselaar相關的被封禁帳號通知警方;該名人士於2月在一所學校殺害8人後自盡。OpenAI

GateNews15小時前
留言
0/400
暫無留言