Bản đồ ngữ nghĩa — robot hiểu nơi mình đang ở

Bản đồ SLAM truyền thống chỉ nói chỗ nào có vật cản, chỗ nào trống. Nó không biết đâu là bếp, đâu là phòng họp, cái chắn kia là tường hay là chiếc ghế ai đó vừa kéo ra. Bản đồ ngữ nghĩa lấp chỗ đó, và nó thay đổi cách ra lệnh cho robot.

Bản đồ hình học thiếu gì

Nó chỉ có hai thông tin. Ô này có vật cản, ô kia trống. Đủ để đi từ điểm A tới điểm B không va chạm, không đủ cho gì khác.

Không phân biệt được loại vật cản. Bức tường và chiếc ghế trông giống nhau trên bản đồ hình học. Nhưng ghế thì có thể nhờ người dịch ra, tường thì không — và robot không có cách nào biết điều đó.

Không có khái niệm phòng. Bản đồ là một mảng ô, không phải một tập không gian có tên. Không thể ra lệnh đi tới phòng họp vì robot không biết phòng họp là vùng nào.

Không biết đâu là chỗ nên tránh. Trước cửa thoát hiểm nên để trống. Khu bếp có dầu mỡ trên sàn. Không có gì trên bản đồ hình học thể hiện điều này.

Mọi lệnh phải bằng toạ độ. Đây là hạn chế thực tế lớn nhất: người vận hành phải nói bằng con số, và mỗi lần bố trí đổi lại phải nhập lại toàn bộ.

Bản đồ ngữ nghĩa thêm gì

Ba lớp thông tin chồng lên hình học.

Lớp phân loại vật thể. Mỗi vùng trong bản đồ được gán nhãn: tường, cửa, bàn, ghế, thùng rác, cầu thang. Robot biết mình đang tránh cái gì.

Lớp phân vùng không gian. Bản đồ được chia thành các phòng và khu vực có tên. Cho phép ra lệnh bằng tên chỗ thay vì toạ độ.

Lớp thuộc tính. Vùng này cấm vào. Vùng kia đi chậm. Cửa này thường đóng. Sàn khu này trơn. Đây là lớp nhiều giá trị vận hành nhất và cũng ít được làm nhất.

Cách xây dựng. Mô hình thị giác phân loại từng phần ảnh trong lúc robot quét, rồi chiếu nhãn đó lên bản đồ hình học. Phần phân vùng phòng có thể tự động theo cấu trúc tường, hoặc con người gán tay — cách sau chính xác hơn nhiều và thường đáng công.

Chi phí. Tốn tính toán khi dựng, tốn công gán nhãn, và nhãn cũng lỗi thời khi mặt bằng đổi.

Mở ra điều gì

Phần đáng quan tâm — vì sao hướng này được chú ý.

Ra lệnh bằng ngôn ngữ tự nhiên. Đưa cái này tới phòng họp tầng hai. Câu lệnh này chỉ thực hiện được nếu robot biết phòng họp là vùng nào trên bản đồ. Đây là cầu nối giữa mô hình ngôn ngữ và robot vật lý.

Hành vi theo ngữ cảnh. Đi chậm ở khu có trẻ em. Không vào phòng khi cửa đóng. Tránh đi qua sảnh lễ tân giờ cao điểm. Những quy tắc này cần robot biết mình đang ở loại không gian nào.

Định vị bền hơn. Biết cái nào là ghế thì biết cái đó có thể đã dịch chỗ, và không nên tin nó như tin bức tường.

Báo cáo hiểu được. Robot nói bị chặn ở lối vào kho thay vì bị chặn tại toạ độ. Khác biệt lớn với người vận hành.

Chuyển bản đồ giữa robot. Bản đồ có nhãn dùng lại được cho robot khác loại, còn bản đồ hình học thì gắn chặt với cảm biến đã dựng ra nó.

Ghép với mô hình ngôn ngữ

Hướng nghiên cứu sôi động nhất hiện nay trong nhánh này.

Bài toán. Mô hình ngôn ngữ hiểu câu lệnh của người rất tốt nhưng không biết gì về không gian vật lý cụ thể. Robot biết không gian nhưng không hiểu câu lệnh. Cần cầu nối.

Cách làm phổ biến. Bản đồ ngữ nghĩa được mô tả thành dạng văn bản có cấu trúc — danh sách các phòng, các vật thể và quan hệ vị trí. Mô hình ngôn ngữ đọc mô tả đó, hiểu câu lệnh, rồi sinh ra chuỗi hành động bằng những nguyên thao tác robot thực hiện được.

Vì sao không đơn giản. Mô hình ngôn ngữ sinh ra kế hoạch nghe hợp lý nhưng không thực hiện được — bảo robot mở cửa trong khi nó không có tay. Phải có lớp kiểm tra tính khả thi trước khi thi hành.

Vấn đề bịa. Mô hình ngôn ngữ có thể tham chiếu tới vật thể không tồn tại trong bản đồ. Bắt buộc phải kiểm chứng mọi tham chiếu với bản đồ thật.

Trạng thái hiện tại. Chạy được trong môi trường có kiểm soát với tập lệnh giới hạn. Chưa đủ tin cậy cho triển khai không giám sát, và khoảng cách đó chủ yếu nằm ở khâu xử lý trường hợp bất thường.

Mức độ thực dụng hiện nay

Tách phần đã dùng được khỏi phần còn trong lab.

Đã dùng ngoài thực tế. Phân vùng phòng có tên và vùng cấm vào. Hầu hết robot dịch vụ thương mại đều có, thường do người gán tay lúc lắp đặt. Không tinh vi nhưng hữu ích.

Đang bắt đầu dùng. Phân loại vật thể để lọc vật động khi định vị. Cải thiện đo được ở nơi đông người.

Còn chủ yếu trong nghiên cứu. Bản đồ ngữ nghĩa tự động cập nhật đầy đủ, và nhận lệnh ngôn ngữ tự nhiên tự do trong môi trường mở.

Điểm nghẽn không phải nhận diện. Mô hình thị giác nhận vật thể đã khá tốt. Điểm nghẽn là giữ cho bản đồ ngữ nghĩa đúng theo thời gian khi mọi thứ thay đổi, và xử lý những trường hợp mô hình phân loại sai.

Lời khuyên thực dụng cho người triển khai. Gán tay vài chục nhãn quan trọng lúc lắp đặt cho ra giá trị lớn hơn nhiều so với chờ hệ thống tự động hoàn chỉnh. Phần lớn lợi ích nằm ở vài nhãn đầu tiên.

Câu hỏi thường gặp

Đọc thêm trong Benchmark & tập dữ liệu và Lập kế hoạch chuyển động.