DeepSeek phát hành mã nguồn mở TileKernels, thư viện kernel GPU cho đào tạo và suy luận mô hình lớn

Tin tức cổng, ngày 23 tháng 4 — DeepSeek đã phát hành mã nguồn mở TileKernels theo giấy phép MIT, một thư viện kernel GPU được viết bằng TileLang cho đào tạo và suy luận mô hình ngôn ngữ lớn. TileLang là ngôn ngữ chuyên biệt do nhóm tile-ai phát triển để diễn đạt các kernel GPU hiệu năng cao trong Python. DeepSeek cho biết hầu hết các kernel trong thư viện đã tiến gần đến giới hạn hiệu năng phần cứng về mật độ tính toán và băng thông bộ nhớ, với một phần đã được triển khai trong các tác vụ đào tạo và suy luận nội bộ.

Thư viện gồm sáu nhóm kernel: MoE (hỗn hợp các chuyên gia) phân luồng và định tuyến, bao gồm chọn chuyên gia Top-k, ánh xạ token sang chuyên gia, và mở rộng/thu gộp kèm chuẩn hoá trọng số; lượng tử hoá hỗ trợ các định dạng FP8, FP4 và E5M6 với lượng tử hoá theo từng token, theo từng block và theo từng kênh, bao gồm các tác vụ lượng tử hoá gộp SwiGLU+; chuyển vị theo lô (batch transpose); Engram gating với lan truyền xuôi/ngược RMSNorm gộp và giảm gradient trọng số; Manifold HyperConnection với chuẩn hoá Sinkhorn và tách/áp dụng trộn; và các giao diện autograd cấp cao bọc các kernel mức thấp thành các lớp có thể huấn luyện.

Engram và Manifold HyperConnection là các thành phần độc quyền trong kiến trúc mô hình của DeepSeek, với chi tiết triển khai lần đầu tiên được công bố công khai. Thư viện yêu cầu GPU thuộc kiến trúc NVIDIA SM90 hoặc SM100 (H100/H200 hoặc dòng Blackwell), CUDA Toolkit 13.1 trở lên và PyTorch 2.10 trở lên.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.

Bài viết liên quan

Succinct Labs Ra Mắt Ứng Dụng iPhone ZCAM Sử Dụng Mật Mã Để Chống Lại Nội Dung Do AI Tạo

Tin tức Gate, ngày 24 tháng 4 — Succinct Labs, được hậu thuẫn bởi Paradigm, đã công bố ZCAM vào hôm thứ Năm, một ứng dụng iPhone sử dụng mật mã để “dấu vân tay” cho ảnh và video nhằm chống lại các nội dung do AI tạo ra và nội dung đã bị chỉnh sửa. Ứng dụng ký ảnh và video ngay tại thời điểm chụp, tạo ra một bản ghi không thể bị giả mạo

GateNews1giờ trước

Mạng Pi Network ra mắt khung mã thông báo PiRC1, cấm phát hành mã thông báo cho các dự án không có ứng dụng thực tế.

Mạng Pi vào ngày 22 tháng 4 đã ra mắt khung thiết kế token PiRC1, như một phần cấu thành cho bản nâng cấp Protocol V22. Quy tắc cốt lõi của PiRC1 là: chỉ những dự án trong hệ sinh thái Pi đã có ứng dụng đang vận hành và đáp ứng nhu cầu người dùng thực sự mới đủ tư cách phát hành token. Lợi nhuận từ token không chảy về phía đội dự án, mà chảy vào một pool thanh khoản vĩnh viễn được neo bằng Pi Coin, nhằm ngăn chặn hành vi bỏ chạy.

MarketWhisper1giờ trước

Frax tham gia hành động hỗ trợ DeFi United cho Aave, để đề xuất kế hoạch quản trị cho sự cố rsETH

Tin tức cổng thông tin, ngày 24 tháng 4 — Frax Finance đã công bố trên X rằng, với tư cách là đối tác Aave V4, họ đang liên lạc trực tiếp với Aave để xử lý sự cố rsETH. Mặc dù Frax không có rủi ro phơi nhiễm trực tiếp, họ sẽ

GateNews2giờ trước

Đề xuất CoW DAO bồi thường cho các nạn nhân bị chiếm đoạt tên miền cow.fi, bồi hoàn tối đa 100% thiệt hại

CoW DAO vào ngày 23 tháng 4 đã công bố đề xuất bồi thường (CIP) trên diễn đàn quản trị, đề xuất thiết lập một chương trình trợ cấp tùy ý, để cung cấp bồi thường thiệt hại lên tới 100% cho các nạn nhân của sự cố chiếm đoạt tên miền cow.fi diễn ra vào ngày 14 tháng 4. Sự cố ước tính gây ra thiệt hại cho người dùng khoảng 120 vạn đô la USDC, CoW DAO nhấn mạnh rằng việc bồi thường mang tính chất hỗ trợ ưu đãi được phát tự nguyện, không đồng nghĩa với việc thừa nhận bất kỳ trách nhiệm pháp lý nào.

MarketWhisper2giờ trước

Nhà sáng lập Telegram: Phí TON giảm xuống 0.0005 USD, tiến tới mức phí 0

Người sáng lập Telegram Pavel Durov vào ngày 23 tháng 4 đã đăng bài trên nền tảng X, công bố rằng phí giao dịch trên mạng TON sẽ được giảm 6 lần trong vòng một tuần, xuống còn 0.00039 TON cho mỗi giao dịch (khoảng 0.0005 USD), mức phí được cố định và không bị ảnh hưởng bởi tải của mạng. Durov cũng đồng thời thông báo rằng, sau khi chi phí giảm, phần lớn giao dịch sẽ tiếp tục tiến tới mô hình hoàn toàn miễn phí với 0 phí thủ tục.

MarketWhisper2giờ trước

CoW DAO Đề Xuất Chương Trình Trợ Cấp Tùy Ý Để Bù Đắp Cho Nạn Nhân Bị Chiếm Quyền Điều Khiển Tên Miền

Tin tức Gate, ngày 24 tháng 4 — CoW DAO đã đề xuất thành lập một chương trình trợ cấp tùy ý để bù đắp cho người dùng đã chịu thiệt hại từ sự cố bị chiếm quyền điều khiển tên miền cow.fi vào ngày 14 tháng 4. Chương trình sẽ cung cấp hoàn trả thiệt hại lên đến 100% thông qua một lần phân bổ từ quỹ dự phòng bào chữa pháp lý

GateNews3giờ trước
Bình luận
0/400
Không có bình luận