Theo các báo cáo, các nhà nghiên cứu NVIDIA và MIT đã phát hành Lightning OPD (Offline On-Policy Distillation), một khung hậu huấn luyện mới cho các mô hình ngôn ngữ lớn giúp loại bỏ nhu cầu phải giữ mô hình “teacher” chạy liên tục trong quá trình huấn luyện. Bằng cách tính trước log-probabilities của mô hình teacher ở chế độ offline, khung này cải thiện hiệu quả huấn luyện gấp 4 lần đồng thời giải phóng toàn bộ tài nguyên GPU cho việc huấn luyện mô hình “student”.
Trong thử nghiệm trên 8 GPU NVIDIA H100, Lightning OPD đã chưng cất thành công Qwen3-30B-A3B-Base (một mô hình MoE với 30 tỷ tham số) và đạt 71,0 trên benchmark AIME 2024, trong khi OPD chuẩn bị tràn bộ nhớ trên cùng phần cứng. Với mô hình Qwen3-8B nhỏ hơn, khung chỉ cần 30 giờ GPU để đạt 69,9 điểm.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo
Tuyên bố miễn trừ trách nhiệm.
Bài viết liên quan
Phỏng vấn Eric Trump trên blockchain Bönny: nói về AI, năng lượng và Bitcoin của Mỹ, tiết lộ rằng Trump vẫn gọi anh riêng là “honey”
台灣區塊鏈 YouTuber「邦尼區塊鏈」近日專訪 Eric Trump，圍繞美國比特幣挖礦公司 American Bitcoin、川普政府的加密貨幣政策、美國 AI 與能源競爭力，以及 Eric Trump 個人為何投入數位資產產業展開對談。 川普兒子：美國要在能源、AI、加密貨幣勝出 Eric Trump 在訪談中多次強調，川普政府的核心敘事是「讓美國在所有領域勝出」，而其中包含能源、人工智慧與加密貨幣。他表示，Donald Trump 是以「加密貨幣總統」的定位參選，並相信比特幣、數位資產與更高效率的金融交易方式。因此在 Eric Trump 看來，川普核心圈內的人物也會傾向支持同樣方向，包含對 AI、生產力與比特幣較為友善的政策思維。 訪談中也談到 Kevin Warsh 與聯準會政策方向。美國參議院已於 5 月 12 日確認 Kevin Warsh 出任聯準會理事，接下來預期將對其出任聯準會主席進行投票。Warsh 曾在聽證中表示 AI 可能帶來顯著供給面提升，進而對通膨形成下行壓力，但 Fed 內部對 AI 生產力是否一定會降低通膨仍有不同看法。 Eric Trump 則從
ChainNewsAbmedia1giờ trước
Các nhà lập pháp đảng Cộng hòa tìm cách điều tra các khoản đầu tư cá nhân 3,75 tỷ USD của Altman và những xung đột liên quan tới OpenAI
Theo ChainCatcher, gần đây Chủ tịch Ủy ban Giám sát Hạ viện Mỹ James Comer đã yêu cầu CEO OpenAI Sam Altman công khai thông tin về các khoản đầu tư cá nhân và các xung đột lợi ích tiềm ẩn với OpenAI. Yêu cầu của Comer tập trung vào danh mục đầu tư đồ sộ của Altman, bao gồm tài sản ròng khoảng 3,5 tỷ USD của ông, trong đó có các khoản góp vốn vào Helion, Stripe và Reddit. Cụ thể, theo tường thuật của Wall Street Journal, Altman đã thúc đẩy OpenAI đầu tư 500 triệu USD vào công ty hợp nhất hạt nhân
GateNews3giờ trước
TT Chain tích hợp hệ thống bảo mật AegisAI để bảo vệ RWA vào ngày 11 tháng 5
Theo thông báo của TT Chain vào ngày 11/5, mạng blockchain Layer-2 đã tích hợp cơ sở hạ tầng bảo mật do AegisAI điều khiển bằng AI vào hệ sinh thái tài sản hiện thực (real-world asset). Sự hợp tác này giúp tăng cường bảo vệ cho các giao dịch tài sản được token hóa và các hoạt động xuyên chuỗi nhờ khả năng phát hiện mối đe dọa tiên tiến và kiểm tra hợp đồng thông minh. Các tác nhân AI tự động của AegisAI phát hiện các cuộc tấn công lừa đảo (phishing), ngăn chặn các nỗ lực truy cập trái phép và nh
GateNews3giờ trước
Startup AI Wispr đang trong các cuộc đàm phán gọi vốn tại định giá $2B vào ngày 12/5
Theo PANews, startup AI Wispr đang đàm phán gọi vốn vào ngày 12/5, với định giá 2 tỷ USD.
GateNews4giờ trước
Sam Altman hôm nay sẽ ra điều trần trong vụ kiện OpenAI của Musk tại $38M
Theo BlockBeats, Sam Altman dự kiến sẽ ra điều trần hôm nay (12/5) tại tòa án liên bang ở Oakland, California, liên quan đến vụ kiện của Elon Musk chống lại OpenAI. Altman sẽ lên bục nhân chứng sau khi chủ tịch hội đồng quản trị OpenAI Bret Taylor hoàn tất phần khai báo. Musk đã nộp đơn kiện vào năm 2024, cáo buộc OpenAI, Altman và Chủ tịch Greg Brockman đã vi phạm sứ mệnh ban đầu của công ty về hình thức phi lợi nhuận và vì lợi ích công cộng. Musk cho rằng khoản đóng góp trị giá khoảng 38 triệu
GateNews4giờ trước
Depthfirst Phát hiện Lỗ hổng Internet Quan trọng với Chi phí Bằng 1/10 Mythos của Anthropic
Theo BlockBeats, vào ngày 12/5, startup an ninh mạng AI Depthfirst đã công bố rằng mô hình tự phát hiện lỗ hổng AI do công ty phát triển của họ đã tìm thấy nhiều lỗi bảo mật nghiêm trọng mà Mythos của Anthropic đã bỏ sót, đồng thời cho biết tổng chi phí chỉ bằng một phần mười so với bên còn lại. CEO của Depthfirst, Qasim Mithani, cho biết công ty có thể “hoàn thành công việc với 1.000 USD mà Mythos sẽ cần 10.000 USD để thực hiện” bằng cách tối ưu kiến trúc mô hình cho hiệu suất tác vụ đơn. Depth
GateNews4giờ trước
