Nvidia Blackwell GPU 成本翻倍,但每個 Token 推論成本相較 Hopper 降低 35 倍

根據 Nvidia 最新部落格分析,Blackwell GPU 的每小時成本相較於 Hopper 世代近乎翻倍,但每個 token 的推論成本則可低 35 倍。以 DeepSeek-R1 作為測試模型,Blackwell(GB300 NVL72)租用每張 GPU 每小時為 2.65 美元,而 Hopper 為 1.41 美元;然而單顆 GPU 的吞吐量則從每秒 90 個 token 大幅提升到每秒 6,000 個 token。這 65 倍的吞吐提升使得每百萬個 token 成本從 4.20 美元降至 0.12 美元。

0.12 美元這個數字假設已完成完整軟體最佳化,包括 FP4 低精度推論與多 token 預測(MTP)。若未啟用 MTP,每百萬個 token 成本約可達 2.35 美元;啟用後則降至 0.11 美元,顯示僅靠該功能本身就帶來 21 倍的最佳化效果。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

OpenAI 宣布將在未來幾天推出 GPT-5.5-Cyber 資安模型

根據 Cointelegraph,Sam Altman 宣布 OpenAI 將在未來幾天推出 GPT-5.5-Cyber,一款網路安全模型。該模型將提供給關鍵的網路安全防禦者使用,OpenAI 計劃與政府機構合作建立可信存取機制以

GateNews6分鐘前

Google DeepMind 執行長預測:AGI 將於 2030 年前到來,並給予企業 4 年時間準備

根據 Sequoia Capital 的影片系列,內容以 Google DeepMind 的執行長 Demis Hassabis 為主,他預測人工一般智慧(AGI)將在 2030 年到來。身為 2024 年諾貝爾化學獎得主的 Hassabis,將這段時間表視為一項嚴格的商業現實,迫使領導者重新思考產品 de

GateNews10分鐘前

OpenAI 將以永續低利潤公司身分運作,簽署 20 年電力合約

根據 Odaily,OpenAI 執行長 Sam Altman 在 Stripe Sessions 上表示,OpenAI 的目標是成為一家永續低利潤、但規模龐大且成長迅速的基礎設施公司,提供類似「智慧電表」的產品,讓用戶可購買以自動化營運,或嵌入到

GateNews11分鐘前

Forefront Tech 完成 $100M 的 IPO 定價,將在 Nasdaq 上市

根據 ChainCatcher,Forefront Tech Holdings Acquisition Corp 在 4 月 30 日完成 1 億美元 IPO 定價,預計以代號 FTHAU 在那斯達克上市。所得款項將用於探索區塊鏈、人工智慧、金融科技及其他領域的併購機會

GateNews48分鐘前

前 Meta 高層為 AI 初創公司 Flourish 籌集資金,估值 25 億美元

根據 Bloomberg,曾領導 Meta「Neural Band」相關工作的前 Meta 高層 Thomas Reardon 正在為 Flourish 募資,這是一家新的 AI 初創公司,專注於低功耗 AI 系統。Lux Capital 與 Google Ventures 已同意成為主要投資人,支持者目前已承諾 5 億美元,估值在 $2.5

GateNews50分鐘前

OpenAI 將哥布林問題追溯到書呆子個性獎勵訊號,哥布林提到 GPT-5.1 中飆升 175%

根據 OpenAI 的說法,該公司已找出從 GPT-5.1 之後開始困擾 GPT 模型的「goblin」問題的根本原因。用於強化「Nerdy」人格特質的獎勵訊號,鼓勵產出包含奇幻生物的引用,而訓練資料集中有 76.2% 的內容顯示

GateNews1小時前
留言
0/400
暫無留言