La quatrième norme propose une solution de bout en bout pour l'inférence de modèles de grande taille, ModelHub AIoT

Le 26 février, Golden Ten Data a appris de 4Paradigm que 4Paradigm a lancé ModelHub AIoT, une solution de bout en bout pour l’inférence de modèles à grande échelle, qui permet aux utilisateurs de déployer facilement des modèles de distillation de petite taille, notamment DeepSeek R1, Qwen 2.5, Llama 2/3 series, etc., du côté de l’appareil, et de réaliser un fonctionnement hors ligne. Les utilisateurs peuvent basculer de manière flexible entre plusieurs modèles, en tenant compte des performances de compression et d’inférence des modèles, et en résolvant la complexité du déploiement et de l’optimisation. Selon l’entreprise, cette solution peut non seulement répondre aux besoins des utilisateurs en matière de confidentialité et de temps réel, mais aussi réduire considérablement le coût de l’inférence de grands modèles d’IA.