Như tên gọi, Google AI Edge Gallery là 1 ứng dụng AI biên (Edge AI) hay AI trên thiết bị (On-device AI), cho phép chạy mô hình AI trực tiếp trên máy thay vì các máy chủ đám mây. Hướng tiếp cận này mang lại những lợi ích như tính riêng tư dữ liệu được đảm bảo, thời gian phản hồi nhanh hơn (do không có độ trễ mang khi giao tiếp với máy chủ đám mây), hoạt động ở bất kỳ đâu không phụ thuộc vào mạng và không tốn chi phí gởi/nhận dữ liệu. Dĩ nhiên hiệu năng cũng như trải nghiệm người dùng sẽ phụ thuộc vào sức mạnh xử lý của thiết bị. Hiện tại, Google AI Edge Gallery đang ở phiên bản Alpha để thu thập ý kiến phản hồi từ cộng đồng nhà phát triển. Ứng dụng phát hành theo giấy phép Apache 2.0 – yếu tố quan trọng vì Apache 2.0 là giấy phép mã nguồn mở, cho phép sử dụng không hạn chế kể cả trong môi trường thương mại.
Các tính năng chính trong Google AI Edge Gallery gồm có AI Chat (đối thoại trực tiếp với trợ lý AI, tương tác theo chuỗi nội dung nối tiếp), Ask Image (cung cấp hình ảnh và đặt câu hỏi về nội dung, mô tả, nhận diện vật thể, chữ viết trong ảnh) và Prompt Lab (tương tác 1 lượt để có phản hồi từ AI nhanh hơn, như tóm tắt văn bản, viết code, lý tưởng cho tác vụ cụ thể, thực hiện 1 lần, giúp nhà phát triển kiểm thử và tinh chỉnh câu lệnh cho những mô hình AI khác nhau).
Google AI Edge Gallery cho phép tải về và sử dụng nhiều mô hình AI khác nhau, có cả từ Hugging Face, dễ dàng tải và chuyển đổi để trải nghiệm hay so sánh. Còn với những mô hình có kiểm soát như Gemma 3, bạn cần xác thực cụ thể và đồng ý với các điều khoản trước khi có thể tải về. Quy trình tải các mô hình AI có kiểm soát khá dài, bạn cần có tài khoản trên Hugging Face, đăng nhập thông qua trình duyệt web, chấp nhận các điều khoản cấp phép rồi ứng dụng mới bắt đầu tải về mô hình. Token an toàn của Hugging Face cũng được lưu trữ cho những lần tải kế tiếp. Việc Google AI Edge Gallery tích hợp với Hugging Face là 1 điểm quan trọng, cho phép truy cập kho lưu trữ mô hình AI mã nguồn mở rất lớn.
Ngoài mô hình AI mã nguồn mở được cung cấp sẵn, người dùng cũng có thể sử dụng các mô hình cá nhân ở định dạng LiteRT để thử nghiệm. Tính năng này đặc biệt quan trọng đối với cộng đồng nhà phát triển, cho phép chạy thử mô hình được tùy chỉnh huấn luyện hay tinh chỉnh trong môi trường của Google AI Edge Gallery, tận dụng được các tối ưu hóa của runtime LiteRT. Nhờ đó, nhà phát triển có thể tạo mẫu, thử nghiệm và tối ưu mô hình trên thiết bị trước khi triển khai rộng rãi trong thực tế.
Sau khi tải về và chạy thực tế trên smartphone OPPO Reno6 5G (cấu hình vi xử lý MediaTek Dimensity 900, RAM 8 GB), sử dụng mô hình Gemma-3n-E4B-it-int4 dung lượng 4.4 GB, tốc độ xử lý và trả về kết quả hoàn chỉnh tương đối lâu. Cũng không thể trách được vì Reno6 5G đã ra mắt từ năm 2021 rồi, cũng không thuộc phân khúc smartphone cao cấp. Lấy ví dụ mình yêu cầu nhận diện chữ Hoa trong hình ảnh (sử dụng Ask Image), mô hình cần khoảng 3 phút để hoàn tất câu trả lời, với token đầu tiên (TTFT – Time-To-First-Token) sau 22.02 giây, tốc độ giải mã (Decode Speed) là 1.41 token/s và độ trễ (Latency) là 182.82 giây). Trong khi đó, AI Chat phản hồi 1 câu hỏi tổng hợp tốn 5.4 phút, với TTFT 7.87 giây, Decode Speed 1.65 token/s và Latency 325.10 giây. Những chỉ số này được cung cấp ngay dưới phản hồi của mô hình AI, giúp các nhà phát triển hiểu cách các mô hình khác nhau hoạt động trên phần cứng cụ thể, hỗ trợ việc tối ưu hóa và lựa chọn mô hình.
Nguồn: Tinhte.vn
