Andrej Karpathy 開源 autoresearch 項目,AI 自動運行百次 LLM 訓練實驗

Gate News 消息,3 月 9 日,Eureka Labs 創始人、OpenAI 聯合創始人 Andrej Karpathy 昨日(3 月 8 日)公開開源項目 autoresearch,將此前在 LLM 訓練項目 nanochat 上的 AI Agent 自動調優工作流程獨立打包,供開發者使用。該項目採用「人寫 Markdown,AI 寫程式」的設計模式:開發者通過編寫 program.md 文件定義研究方向,AI Agent 自主修改包含完整 GPT 模型、Muon + AdamW 優化器和訓練循環的 train.py 代碼(約 630 行)。每次實驗固定運行 5 分鐘,以驗證集每字節比特數(val_bpb)為唯一評估指標,優於基線的改進將被保留提交,否則丟棄。按此節奏,每小時可運行約 12 次實驗,一夜可完成約 100 次。Karpathy 展示的範例顯示,83 次實驗中產出 15 次有效改進。該項目僅需一塊 NVIDIA GPU(已在 H100 上測試),依賴 PyTorch 和少量軟體包,採用 MIT 協議開源。目前社群已出現 macOS 和 MLX 適配分支。

查看原文
免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明
留言
0/400
暫無留言