Mô hình thị giác ngôn ngữ trong robot

Trước đây, muốn robot nhận ra cái cốc thì phải thu dữ liệu cốc, gán nhãn, huấn luyện. Bây giờ có thể gõ chữ cái cốc màu xanh bên trái và mô hình chỉ ra đúng chỗ. Đây là thay đổi lớn về mặt vận hành hơn là về mặt kỹ thuật.

Cơ chế đằng sau

Ý tưởng cốt lõi. Huấn luyện trên hàng trăm triệu cặp ảnh và chú thích thu từ internet, mô hình học cách đưa cả ảnh lẫn chữ về cùng một không gian biểu diễn.

Hệ quả. Ảnh một con mèo và chữ con mèo cho ra biểu diễn gần nhau. So sánh được ảnh với chữ trực tiếp mà không cần danh sách lớp cố định.

Vì sao gọi là từ vựng mở. Không có danh sách lớp định trước. Bất kỳ mô tả nào diễn đạt được bằng chữ đều tìm được, kể cả tổ hợp chưa từng xuất hiện trong dữ liệu huấn luyện.

Áp dụng cho robot. Ghép mô hình này với bộ phân vùng: phân vùng tách ra các vùng, mô hình thị giác ngôn ngữ chấm điểm từng vùng theo mức khớp với mô tả, chọn vùng cao điểm nhất.

Điều đáng chú ý. Toàn bộ kiến thức về vật thể đến từ dữ liệu internet, không tốn một giờ thu dữ liệu robot nào. Đây là lý do hướng này lan nhanh trong ngành.

Làm được gì trong thực tế

Tìm vật theo tên. Đưa tôi cái kéo. Hoạt động với hàng nghìn loại vật thông dụng mà không huấn luyện riêng.

Tìm theo thuộc tính. Cái hộp màu đỏ. Cái chai lớn hơn. Xử lý được màu sắc, kích thước tương đối, chất liệu ở mức cơ bản.

Tìm theo quan hệ không gian. Cái cốc bên trái cái đĩa. Yếu hơn — mô hình hay nhầm trái phải và nhầm trên dưới, vì dữ liệu internet ít mô tả quan hệ không gian chính xác.

Tìm theo công dụng. Thứ gì đó để cắt. Hoạt động bất ngờ tốt, nhờ tri thức thường thức có sẵn trong mô hình ngôn ngữ.

Xử lý cách diễn đạt khác nhau. Cùng một vật gọi bằng nhiều tên khác nhau đều tìm ra. Rất có giá trị vì người dùng không dùng đúng từ trong tài liệu.

Điều làm được mà trước đây rất khó. Robot xử lý được vật chưa từng thấy trong dữ liệu huấn luyện của nó. Đây là bước tiến thật, không phải cải tiến nhỏ.

Giới hạn cần biết

Quan hệ không gian không đáng tin. Đã nêu và đáng nhấn mạnh vì nó gây lỗi thường xuyên trong ứng dụng robot. Nên kiểm chứng bằng hình học thật thay vì tin mô hình.

Không có tỷ lệ thật. Mô hình nói cái này lớn hơn cái kia nhưng không cho biết bao nhiêu centimet. Với thao tác thì phải lấy từ chiều sâu.

Nhầm với vật giống nhau. Năm cái cốc giống hệt trên bàn thì mô tả bằng chữ không phân biệt được. Phải dùng vị trí hoặc để người chỉ.

Tự tin quá mức. Mô hình luôn trả về vùng khớp nhất, kể cả khi vật được yêu cầu không có trong cảnh. Bắt buộc phải có ngưỡng và cơ chế trả lời không tìm thấy.

Nặng. Chạy trên máy tính nhúng của robot ở tần số cao là không khả thi với bản đầy đủ.

Thiên lệch từ dữ liệu internet. Mô hình hoạt động tốt hơn với vật phổ biến trong ảnh trên mạng. Vật đặc thù địa phương hoặc đặc thù ngành công nghiệp thì kém hơn đáng kể.

Ghép vào hệ thống robot

Kiến trúc thực dụng.

Dùng ở tầng chậm, không ở vòng điều khiển. Gọi một lần khi nhận lệnh mới để xác định mục tiêu, rồi chuyển sang bộ theo dõi nhẹ để bám vật. Không gọi ở mỗi khung hình.

Luôn kiểm chứng bằng hình học. Vùng mô hình chỉ ra phải nằm trong tầm với, phải có chiều sâu hợp lý, phải đủ lớn để cầm. Nhiều lỗi bắt được ở bước này.

Xác nhận với người khi không chắc. Điểm khớp thấp hoặc có nhiều vùng điểm gần nhau thì hỏi lại thay vì đoán. Với robot dịch vụ thì hỏi lại tốt hơn làm sai nhiều.

Lưu lại kết quả. Vật đã xác định một lần thì ghi vào bản đồ ngữ nghĩa, lần sau không cần chạy lại mô hình nặng.

Có danh sách cấm. Một số vật robot không nên chạm dù được yêu cầu — vật sắc nhọn, vật nóng, đồ cá nhân. Kiểm tra này phải nằm ngoài mô hình.

Ghi nhật ký mọi lần tra cứu. Lệnh gì, mô hình chọn gì, kết quả ra sao. Đây là dữ liệu để cải thiện và cũng là bằng chứng khi có sự cố.

Ý nghĩa dài hạn

Vì sao hướng này đáng theo dõi ngoài giá trị trước mắt.

Nó phá vỡ giới hạn danh sách lớp cố định. Suốt nhiều năm, robot chỉ nhận ra những gì được huấn luyện riêng. Giới hạn đó nay đã lỏng ra đáng kể.

Nó chuyển chi phí từ thu dữ liệu sang tích hợp. Trước đây thêm một loại vật là dự án thu dữ liệu. Bây giờ là một dòng mô tả. Thay đổi này ảnh hưởng tới kinh tế của việc triển khai robot hơn là tới kỹ thuật.

Nó là cầu nối tự nhiên với lệnh bằng ngôn ngữ. Người nói bằng chữ, robot cần chỉ ra vật trong không gian. Đây chính là mắt xích đó.

Điều còn thiếu. Độ tin cậy. Tỷ lệ chỉ đúng còn xa mức cần cho vận hành không giám sát, đặc biệt với mô tả có quan hệ không gian.

Điều nên làm bây giờ. Dùng nó cho khâu xác định mục tiêu có người xác nhận, chưa nên dùng cho quyết định tự động hoàn toàn. Đó là ranh giới hợp lý với trạng thái hiện tại của công nghệ.

Câu hỏi thường gặp

Đọc thêm trong SLAM & định vị và Benchmark & tập dữ liệu.