Trajectory bringt die Open-Source-Plattform SkyRL auf den Markt und erreicht eine Durchsatzsteigerung um das 2,81-Fache

Laut OneMillion_AI hat Trajectory in Zusammenarbeit mit dem Sky Computing Lab der UC Berkeley und Anyscale kürzlich die Open-Source-Plattform SkyRL sowie die Multi-LoRA-Trainingsarchitektur für das Fine-Tuning großer Sprachmodelle angekündigt. Das System behebt Ineffizienzen herkömmlicher Modelloptimierung, indem es eine gemeinsam genutzte Modell-Basis im GPU-Speicher beibehält und mehrere Fine-Tuning-Experimente als leichte Adapter-Module behandelt. Tests zeigten, dass die End-to-End-Experimentdurchsatzrate um das 2,81-Fache verbessert wurde; die absolute Durchsatzrate bei einem einzelnen Knoten erreichte eine Verbesserung um das 3,25-Fache. Dadurch können große Modelle durch Echtzeit-Produktionsdaten eine Selbst-Evolution auf Stunden-Niveau erreichen. Der Trainingscode ist jetzt im SkyRL-Repository verfügbar.
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare