أصدرت Google دليل تدريب المطورين للجيل السابع من وحدة معالجة Tensor Ironwood TPU، مع شرح تفصيلي لتحسين الأداء على مستوى النظام.

أخبار ME News، في 2 أبريل (بتوقيت UTC+8)، أصدرت جوجل مؤخرًا دليل تدريب للمطورين موجه إلى معالج Ironwood TPU من الجيل السابع. يهدف هذا الدليل إلى مساعدة المطورين على الاستفادة الكاملة من الأداء على مستوى النظام لـ Ironwood TPU، من أجل تدريب ونشر نماذج الذكاء الاصطناعي المتقدمة بكفاءة. يُعد Ironwood TPU بنية أساسية مخصصة للذكاء الاصطناعي مصممة لتلبية متطلبات حسابات النماذج ذات المليارات من المعاملات، حيث يستخدم تقنيات مثل الربط بين الشرائح (ICI)، ومفاتيح التبديل الضوئية (OCS)، وشبكة مراكز البيانات (DCN)، وذاكرة عالية النطاق الترددي المجمعة (HBM) لبناء نظام كامل يدعم حتى 9,216 شريحة. يشرح المقال بالتفصيل العديد من استراتيجيات التحسين الرئيسية لهذا العتاد، بما في ذلك: الاستفادة من وحدة الضرب المصفوفي (MXU) لدعم تدريب FP8 بشكل أصلي لزيادة الإنتاجية؛ اعتماد مكتبة نوى JAX المصممة خصيصًا لـ TPU، Tokamax، لمعالجة النصوص الطويلة والنماذج المختلطة باستخدام “الانتباه المتطاير” و"مصفوفة الضرب المجمع Megablox"؛ استخدام النواة النادرة من الجيل الرابع (SparseCore) لتحميل عمليات الاتصال الجماعي لإخفاء التأخير؛ تحسين تخصيص ذاكرة SRAM السريعة على الـ TPU (VMEM) بدقة لتقليل توقف الذاكرة؛ واختيار استراتيجية التقسيم المثلى (مثل FSDP، TP، EP) استنادًا إلى حجم النموذج، والهندسة المعمارية، وطول التسلسل. (المصدر: InFoQ)