Nvidia Blackwell GPU 成本翻倍,但每個 Token 推論成本相較 Hopper 降低 35 倍

根據 Nvidia 最新部落格分析,Blackwell GPU 的每小時成本相較於 Hopper 世代近乎翻倍,但每個 token 的推論成本則可低 35 倍。以 DeepSeek-R1 作為測試模型,Blackwell(GB300 NVL72)租用每張 GPU 每小時為 2.65 美元,而 Hopper 為 1.41 美元;然而單顆 GPU 的吞吐量則從每秒 90 個 token 大幅提升到每秒 6,000 個 token。這 65 倍的吞吐提升使得每百萬個 token 成本從 4.20 美元降至 0.12 美元。

0.12 美元這個數字假設已完成完整軟體最佳化,包括 FP4 低精度推論與多 token 預測(MTP)。若未啟用 MTP,每百萬個 token 成本約可達 2.35 美元;啟用後則降至 0.11 美元,顯示僅靠該功能本身就帶來 21 倍的最佳化效果。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

Claude 會收語言稅?研究曝翻譯中日韓內容消耗最多近三倍 Token

研究者 Komatsuzaki 在 X 指出主流 LLM 的 tokenizer 存在非英語語言稅。以《The Bitter Lesson》翻譯測試,Claude 在印地語、阿拉伯語、俄語、中文的 token 增幅分別約 3.24×、2.86×、2.04×、1.71×,明顯高於 OpenAI。中國本土模型對中文更友善,顯示訓練資料偏英語造成成本不平等,成為普及障礙。

鏈新聞abmedia1分鐘前

Microsoft 的 AI 事業規模翻倍至 $370B ARR;計劃在 2026 年投入 $190B Capex

在 4 月 29 日,Microsoft 報告了截至 3 月 31 日止期間的 2026 財年第三季業績,表現優於市場預期。Q3 營收達到 828.86 億美元,較去年同期成長 18%,且高於預期的 814 億美元;GAAP 淨利成長 23% 至 317.78 億美元;非 GAAP 稀釋每股盈餘 per diluted earnings per

GateNews14分鐘前

OpenAI DevDay 2026 將於 9/29 舊金山舉辦

OpenAI 4 月 29 日官方公告,旗艦開發者大會 DevDay 2026 將於 9 月 29 日在舊金山舉行,回歸睽違多年的實體大會形式。同時公布的還有一項投稿活動:開發者使用 GPT-5.5 與 Image Gen 打造作品提交,每週由 Codex 從中篩選 2-3 件具創意的提交者,獲得 DevDay 免費門票(含跨城機票與飯店費用)。 大會主題:圍繞 GPT-5.5 + Image Gen 的開發者生態 本次 DevDay 的核心應用棧明顯圍繞 GPT-5.5。GPT-5.5 於 4 月 23 日上線、24 日全面開放 API;同 4 月底 GPT-5.4

鏈新聞abmedia59分鐘前

BioMysteryBench:Mythos 解專家無解題 29.6%

Anthropic 4 月 29 日於官方研究公告發表 BioMysteryBench—一套針對 AI 生物資訊分析能力的新評測基準,由真實研究情境中的開放式問題組成。最值得關注的數據是:在人類專家小組嘗試後仍無法解出的題目中,Anthropic 旗艦模型 Mythos 解出 29.6%、Opus 4.7 解出 27.0%。 評測設計:可解題與專家無解題雙軌 BioMysteryBench 由兩種題型組成。第一類是「可解題」—由生物資訊研究人員設計、有標準答案可對照的分析任務;第二類是「專家無解題」—由人類專家小組嘗試後仍無法找出可信解答的題目,用來測試模型是否能跨越目前領域知識的邊界。

鏈新聞abmedia1小時前

OpenAI 宣布將在未來幾天推出 GPT-5.5-Cyber 資安模型

根據 Cointelegraph,Sam Altman 宣布 OpenAI 將在未來幾天推出 GPT-5.5-Cyber,一款網路安全模型。該模型將提供給關鍵的網路安全防禦者使用,OpenAI 計劃與政府機構合作建立可信存取機制以

GateNews1小時前

Google DeepMind 執行長預測:AGI 將於 2030 年前到來,並給予企業 4 年時間準備

根據 Sequoia Capital 的影片系列,內容以 Google DeepMind 的執行長 Demis Hassabis 為主,他預測人工一般智慧(AGI)將在 2030 年到來。身為 2024 年諾貝爾化學獎得主的 Hassabis,將這段時間表視為一項嚴格的商業現實,迫使領導者重新思考產品 de

GateNews1小時前
留言
0/400
暫無留言