Message Gate News, 15 avril — Synapse Software a intégré TurboQuant, un algorithme de quantification vectorielle développé par Google Research, dans sa solution Synap OCR IX afin d’améliorer les capacités d’IA documentaire tout en réduisant les coûts d’adoption de l’IA en entreprise.

TurboQuant compresse le cache KV utilisé par les grands modèles de langage (LLMs) et les modèles de langage vision (VLMs), réduisant la consommation mémoire lors du traitement de documents longs. Cela permet un traitement des données plus rapide sur la même infrastructure GPU. La technologie répond aux goulots d’étranglement de mémoire qui nécessitaient auparavant une infrastructure GPU coûteuse, en particulier pour gérer des contextes étendus et des traitements par lots volumineux sans dégradation des performances.

Synapse Software prend également en charge des environnements basés sur le CPU pour les entreprises qui ne peuvent pas déployer d’infrastructure GPU. Grâce à un profilage de précision, l’entreprise a atteint un traitement d’inférence uniquement sur CPU d’environ 100 documents par minute, avec une perte de qualité maintenue en dessous de 1%, ce qui réduit le coût total de possession (TCO). Cette approche d’infrastructure flexible permet l’adoption de l’OCR par IA dans des secteurs sensibles à la sécurité tels que la finance et l’administration publique, où le déploiement sur site et les contraintes d’infrastructure ont auparavant freiné la mise en œuvre de l’IA.

Afficher la source

Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'avertissement.