🔥Ramp Labs giới thiệu giải pháp chia sẻ bộ nhớ đa tác nhân Latent Briefing, giảm tiêu thụ Token cao nhất đến 65%

Vào ngày 11 tháng 4, công ty hạ tầng AI Ramp Labs đã công bố kết quả nghiên cứu "Latent Briefing", thực hiện chia sẻ bộ nhớ hiệu quả giữa các hệ thống đa tác nhân bằng cách nén trực tiếp bộ đệm KV của mô hình lớn, giảm đáng kể tiêu thụ Token mà không làm giảm độ chính xác. Trong kiến trúc đa tác nhân phổ biến, người điều phối (Orchestrator) phân chia nhiệm vụ và liên tục gọi mô hình worker, khi chuỗi suy luận mở rộng, lượng Token tiêu thụ tăng theo cấp số nhân. Ý tưởng cốt lõi của Latent Briefing là: sử dụng cơ chế chú ý để nhận diện…