DeepSeek开源TileKernels:面向大模型训练与推理的GPU内核库

Gate 新闻消息,4月23日——DeepSeek已在MIT许可证下开源TileKernels,这是一套用TileLang编写的GPU内核库,面向大语言模型的训练与推理。TileLang是tile-ai团队开发的一种领域专用语言,用于在Python中表达高性能GPU内核。DeepSeek表示,该库中的大多数内核在计算密度和内存带宽方面已接近硬件性能上限,其中部分内核已部署在内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括Top-k专家选择、从token到专家的映射,以及融合的expand/shrink并配合权重归一化;支持FP8、FP4和E5M6格式的量化,提供逐token、逐块与逐通道量化,并包含融合的SwiGLU+量化操作;批量转置;Engram门控,融合RMSNorm的前向/反向传播与权重梯度归约;Manifold HyperConnection,采用Sinkhorn归一化并进行混合的split/apply;以及高层autograd接口,将底层内核封装为可训练的层。

Engram和Manifold HyperConnection是DeepSeek模型架构中的专有组件,首次公开披露了实现细节。该库需要NVIDIA SM90或SM100架构的GPU (H100/H200或Blackwell系列)、CUDA Toolkit 13.1或更高,以及PyTorch 2.10或更高。

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.

مقالات ذات صلة

Pyth Network 转向收入驱动模式,并计划在 2026 年前逐步淘汰 Pythnet

Gate News 消息,4 月 23 日 — Pyth Network (PYTH),一家加密货币数据基础设施提供商,宣布对其经济模型进行重大改造:从基于代币的激励制度转向以收入驱动的增长策略。 根据 OP-PIP-100 提案,网络现有的基础设施 inf

GateNewsمنذ 1 س

توقع سعر ADA مع دخول كاردانو في صفقة رمزية مع بورصة لندن للأوراق المالية (LSE)

أهم الأفكار قام Cardano بتجزئة/ترميز منتج إعادة التأمين الخاص بـ Hannover Re وقام بإدراجه في بورصة لندن، مما يوسّع استخدام البلوكشين في الأسواق المؤسسية المنظمة. يحافظ سعر ADA على نطاقه داخل وتد هابط حيث يظل الدعم عند $0.2400 قائمًا بينما يبقى مستوى المقاومة قرب $0.2550 و $0.2824 l

CryptoNewsLandمنذ 2 س

Energy Web 为真实世界市场验证推出 Verified Compute Cloud(已验证计算云)

Gate News 消息,4 月 23 日——Energy Web 正在构建用于验证业务逻辑与真实世界市场中各类主张的去中心化基础设施,例如环境登记册、碳信用体系,以及供应链合规工作流。项目于 2017 年以 Energy Web Foundation 的名义成立,为一家瑞士非营利组织,该项目于 2019 年作为能源领域最早的企业区块链项目之一上线,并自那时起已转型为无需许可的基础设施。

GateNewsمنذ 2 س

Shytoshi Kusama 在 13 天沉默后重返 X,宣布周六社区讨论;SHIB 下跌 1.8%

Gate News 消息,4月23日——柴犬生态系统的首席大使 Shytoshi Kusama 在经历从 4月9日开始的为期13天的沉默后,今天重返 X。他确认了周六的定期社区讨论安排,预示着接下来将有新进展。他更新后的个人简介现在写道:"下一步:让我们仅使用经文中的证据来设定一场“Rapture”。下周六见,当新的轮班开始之时。"

GateNewsمنذ 3 س

Girin Labs تطلق محفظة مدفوعات XRP مع تكامل Doppler Finance، لتمكين تسويات XRPL في الوقت الفعلي

رسالة أخبار Gate، 23 أبريل — أطلقت Girin Labs محفظة Girin، من خلال دمج طبقة العائد المؤسسية من Doppler Finance لتمكين مدفوعات XRP وRLUSD في المعاملات اليومية. يمكن للمستخدمين الآن إنفاق XRP وRLUSD لدى أي متجر يقبل Visa، مع تسوية المعاملات فورًا على شبكة XRP Ledger دون المساس بالتحكم الذاتي.

GateNewsمنذ 3 س

يستمر اختراق XRP في التماسك بينما يكتسب تصويت الإقراض على XRPL زخمًا

أهم الأفكار يحافظ XRP على قوة أسبوعية فوق العملات الرقمية الرئيسية مع استمرار السعر فوق المتوسطات الأسية المتحركة الرئيسية، مما يعكس زخمًا مستمرًا رغم الانخفاضات اليومية الطفيفة خلال جلسات التداول. يتقدم مُحَقِّقو XRPL بإجراء ترقيات الإقراض عبر XLS-65 وXLS-66، من خلال تقديم صناديق سيولة مجمعة وf

CryptoNewsLandمنذ 5 س
تعليق
0/400
لا توجد تعليقات