20B mô hình nhỏ có khả năng tìm kiếm đạt được mức tương đương với GPT-5 và Opus: cơ sở dữ liệu vector Chroma mã nguồn mở mô hình tìm kiếm Agent Context-1

BlockBeatNews

Theo theo dõi của 1M AI News, cơ sở dữ liệu vector mã nguồn mở Chroma đã phát hành Context-1, một mô hình tìm kiếm thông minh với 20 tỷ tham số, chuyên dùng cho các nhiệm vụ truy vấn nhiều vòng. Trọng số của mô hình được mở nguồn theo giấy phép Apache 2.0, đồng thời mã pipeline tạo dữ liệu tổng hợp cũng được công khai đồng bộ.

Vị trí của Context-1 là như một phụ trợ truy vấn (retrieval subagent): nó không trả lời câu hỏi trực tiếp mà thay vào đó, qua nhiều vòng tìm kiếm, trả về một tập hợp các tài liệu hỗ trợ cho mô hình suy luận phía dưới. Công nghệ cốt lõi là “bối cảnh tự chỉnh sửa” (self-editing context), nghĩa là mô hình chủ động loại bỏ các đoạn tài liệu không liên quan trong quá trình tìm kiếm, nhằm giải phóng không gian trong cửa sổ bối cảnh hạn chế để phục vụ các vòng tìm kiếm tiếp theo, tránh suy giảm hiệu năng do bối cảnh mở rộng quá mức.

Việc huấn luyện gồm hai giai đoạn: đầu tiên dùng các mô hình lớn như Kimi K2.5 để tạo ra các đường dẫn SFT nhằm tinh chỉnh giám sát, sau đó sử dụng học tăng cường (dựa trên thuật toán CISPO) để huấn luyện trên hơn 8.000 nhiệm vụ tổng hợp. Thiết kế phần thưởng theo cơ chế khóa học, giai đoạn đầu khuyến khích khám phá rộng rãi qua việc nhắc lại, giai đoạn sau dần chuyển sang khuyến khích độ chính xác và chọn lọc. Mô hình nền là gpt-oss-20b, dùng LoRA để thích nghi, khi suy luận chạy trên B200 với lượng lượng hóa MXFP4, đạt throughput từ 400 đến 500 token/giây.

Trên bốn bộ chuẩn lĩnh vực do Chroma tự xây dựng (web, tài chính, pháp lý, email) và các chuẩn công khai (BrowseComp-Plus, SealQA, FRAMES, HotpotQA), phiên bản bốn luồng song song của Context-1 đạt mức tương đương hoặc gần bằng các mô hình tiên tiến như GPT-5.2, Opus 4.5, Sonnet 4.5 về chỉ số “tỷ lệ chính xác câu trả lời cuối cùng”, ví dụ đạt 0.96 trên BrowseComp-Plus (Opus 4.5 là 0.87, GPT-5.2 là 0.82), trong khi chi phí và độ trễ chỉ bằng một phần nhỏ của các mô hình đó. Đáng chú ý, mô hình này chỉ được huấn luyện trên dữ liệu web, pháp lý và tài chính, nhưng vẫn thể hiện rõ sự cải thiện đáng kể trong lĩnh vực email không tham gia huấn luyện, cho thấy khả năng chuyển đổi kiến thức qua các lĩnh vực của khả năng tìm kiếm.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận