Les GPU Nvidia Blackwell coûtent deux fois plus cher, mais le coût d’inférence par token baisse de 35 fois par rapport à Hopper

D’après l’analyse la plus récente du blog de Nvidia, les GPU Blackwell coûtent près du double par heure par rapport à la génération Hopper, tout en affichant des coûts d’inférence par jeton 35 fois plus faibles. En utilisant DeepSeek-R1 comme modèle de test, Blackwell (GB300 NVL72) est loué à 2,65 dollars par GPU et par heure contre 1,41 pour Hopper, mais le débit par GPU passe de 90 à 6 000 tokens par seconde. Ce gain de débit de 65x réduit les coûts par million de tokens de 4,20 dollars à 0,12.

Le chiffre de 0,12 suppose une optimisation logicielle complète, incluant l’inférence en FP4 à faible précision et la prédiction multi-token (MTP). Sans activer MTP, les coûts par million de tokens atteignent environ 2,35 dollars, puis retombent à 0,11 avec elle activée, ce qui met en évidence un impact d’optimisation de 21x rien que grâce à cette fonctionnalité.

Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'avertissement.

Articles similaires

OpenAI annonce le lancement imminent du modèle de cybersécurité GPT-5.5-Cyber

Selon Cointelegraph, Sam Altman a annoncé qu’OpenAI lancera GPT-5.5-Cyber, un modèle de cybersécurité, dans les prochains jours. Le modèle sera mis à la disposition des défenseurs critiques de la cybersécurité, qu’OpenAI prévoit d’établir des mécanismes d’accès de confiance en collaboration avec des entités gouvernementales afin de

GateNewsIl y a 7m

Le PDG de Google DeepMind prédit que l’AGI arrivera d’ici 2030, donnant aux entreprises quatre ans pour se préparer

Dans une série de vidéos de Sequoia Capital mettant en vedette Demis Hassabis, le PDG de Google DeepMind prédit que l’intelligence artificielle générale (AGI) arrivera d’ici 2030. Hassabis, lauréat du prix Nobel de chimie 2024, considère ce calendrier comme une réalité économique stricte qui contraint les dirigeants à repenser le produit de

GateNewsIl y a 11m

OpenAI doit fonctionner comme une entreprise structurellement peu rentable, signe un contrat d’énergie de 20 ans

Selon Odaily, le PDG d’OpenAI, Sam Altman, a déclaré lors des Stripe Sessions que OpenAI vise à devenir une entreprise d’infrastructure massive et à forte croissance, mais durablement peu rentable, en proposant des produits similaires à un « compteur intelligent » que les utilisateurs peuvent acheter pour automatiser les opérations commerciales ou intégrer à

GateNewsIl y a 12m

Forefront Tech termine la tarification de son $100M IPO, pour être cotée au Nasdaq

D’après ChainCatcher, Forefront Tech Holdings Acquisition Corp a finalisé le prix de son introduction en bourse (IPO) de 100 millions de dollars le 30 avril, avec une cotation au Nasdaq sous le ticker FTHAU. Les fonds serviront à explorer des opportunités de fusions et acquisitions dans la blockchain, l’intelligence artificielle, la fintech et autres

GateNewsIl y a 49m

Ancien cadre de Meta lève des fonds pour une start-up d’IA Flourish avec une valorisation de 2,5 milliards de dollars

D’après Bloomberg, Thomas Reardon, ancien dirigeant de Meta qui a mené les travaux sur le Neural Band de Meta, lève des fonds pour Flourish, une nouvelle startup d’IA axée sur des systèmes d’IA à faible consommation. Lux Capital et Google Ventures ont accepté d’être des investisseurs majeurs, des financeurs ayant déjà promis 500 millions de dollars à une valorisation de 2,5

GateNewsIl y a 51m

OpenAI retrace le problème des Gobelins jusqu’à un signal de récompense de personnalité « nerdy », les mentions de Gobelins augmentent de 175 % dans GPT-5.1

D’après OpenAI, la société a identifié la cause première du problème « goblin » qui a touché les modèles GPT à partir de GPT-5,1. Un signal de récompense utilisé pour renforcer la caractéristique de personnalité « Nerdy » encourageait des sorties comportant des références à des créatures de fantasy, avec 76,2 % de l’ensemble de données d’entraînement montrant

GateNewsIl y a 1h
Commentaire
0/400
Aucun commentaire