Google ra mắt app AI Edge Gallery, AI chạy hoàn toàn offline trên điện thoại

Google vừa âm thầm phát hành AI Edge Gallery từ ngày 31/5, một ứng dụng AI đặt ngay trên smartphone, không cần internet hay chia sẻ dữ liệu với server Big Tech.

• Ứng dụng mã nguồn mở (Apache 2.0) hiện có trên GitHub, bắt đầu với Android, iOS sắp ra mắt.
• Chạy các mô hình AI như Gemma 3n hoàn toàn offline, xử lý từ phân tích hình ảnh đến viết code chỉ dùng phần cứng điện thoại.
• Tính năng chính gồm: AI Chat (trò chuyện), Ask Image (phân tích ảnh), Prompt Lab (tác vụ đơn lẻ như viết lại văn bản).
• Người dùng có thể tải mô hình từ Hugging Face, nhưng giới hạn định dạng .task, chưa hỗ trợ nhiều như các đối thủ.
• Hiệu năng: Mô hình nhỏ chạy nhanh, mượt (~20 token/giây CPU, hơn 100 token/giây GPU), đáp ứng tốt như GPT-3.5 đời đầu.
• Ưu điểm lớn: không cần mạng, bảo mật cao, thích hợp với người dùng cần giữ dữ liệu riêng tư như y bác sĩ, nhà báo.
• Hạn chế: bộ nhớ lớn (mô hình lớn khoảng 4,4 GB), giới hạn cửa sổ ngữ cảnh 4096 token, chưa đa dạng mô hình, GPU đôi khi kém chính xác hơn CPU.
• Không cần lo bị kiểm duyệt nghiêm ngặt như dịch vụ trung tâm, có thể dùng jailbreak đơn giản.
• Tiết kiệm chi phí vì không mất phí cloud, chỉ dùng tài nguyên điện thoại.

Tóm lại, app phù hợp với người cần AI bảo mật, không kết nối mạng, hoặc thử nghiệm mô hình AI offline, dù tốc độ và trải nghiệm chưa thể sánh với dịch vụ AI đám mây hiện đại.