Nouvelles de la Gate News : le 11 avril, la société d’infrastructure IA Ramp Labs a publié ses résultats de recherche « Latent Briefing ». En compressant directement le cache KV des grands modèles, elle permet un partage efficace de la mémoire entre systèmes multi-agents, tout en réduisant fortement la consommation de Tokens sans perte de précision. Dans les architectures multi-agents courantes, l’orchestrateur (Orchestrator) décompose les tâches et appelle de manière répétée le modèle de travail (Worker). À mesure que la chaîne d’inférence s’allonge, la quantité de Tokens augmente de façon exponentielle. L’idée centrale de Latent Briefing consiste à utiliser le mécanisme d’attention pour repérer, dans le contexte, les parties réellement essentielles, puis à supprimer directement les informations redondantes au niveau de la représentation, plutôt que de s’appuyer sur des résumés de LLM lents ou sur des recherches RAG peu stables. Lors des tests sur le banc LongBench v2, la méthode obtient d’excellents résultats : la consommation de Tokens du modèle Worker baisse de 65 %, et pour les documents de longueur moyenne (32k à 100k), le gain médian de Tokens atteint 49 %. Dans l’ensemble, la précision s’améliore d’environ 3 points par rapport à la base de référence, tandis que le surcoût de temps induit par chaque compression ne représente qu’environ 1,7 seconde, soit un gain de vitesse d’environ 20 fois par rapport à l’algorithme original. L’expérience utilise Claude Sonnet 4 comme orchestrateur et Qwen3-14B comme modèle Worker, couvrant des scénarios de documents variés : articles académiques, actes et documents juridiques, romans et rapports gouvernementaux. L’étude montre également que le seuil optimal de compression varie selon la difficulté de la tâche et la longueur du document : les cas difficiles se prêtent à une compression plus agressive pour filtrer le bruit de raisonnement spéculatif, tandis que les documents longs sont mieux servis par une compression légère afin de préserver des informations clés dispersées.

Afficher la source

Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'avertissement.