Người ta không học nấu ăn bằng cách thử ngẫu nhiên một triệu lần. Người ta xem ai đó nấu vài lần rồi bắt chước. Áp dụng ý tưởng đó cho robot đang là hướng cho ra kết quả thực tế nhanh nhất.
Cách thu dữ liệu trình diễn
Điều khiển từ xa. Người dùng tay cầm hoặc găng tay điều khiển robot làm nhiệm vụ. Dữ liệu thu được đúng định dạng robot cần — trạng thái và hành động khớp nhau hoàn hảo. Chất lượng cao nhất, tốn công nhất.
Dắt tay. Người nắm trực tiếp cánh tay robot và dẫn nó qua động tác. Tự nhiên và nhanh, nhưng chỉ dùng được với robot đủ nhẹ và có chế độ tuân theo lực.
Quay video người làm. Rẻ nhất, thu được nhiều nhất. Vấn đề lớn là robot có hình dạng khác tay người nên phải ánh xạ, và ánh xạ này là bài toán chưa giải xong.
Dữ liệu từ vận hành thật. Ghi lại nhật ký khi robot đang chạy bằng phương pháp cũ. Miễn phí và có sẵn nhưng chỉ phủ những gì hệ thống cũ đã làm được.
Câu hỏi thực tế quan trọng nhất. Cần bao nhiêu lần trình diễn. Với nhiệm vụ hẹp trong điều kiện cố định, vài chục lần thường đủ. Muốn robot xử lý được vị trí và vật thể thay đổi thì cần vài trăm tới vài nghìn, và đây là chỗ chi phí tăng vọt.
Các cách dùng dữ liệu
Bắt chước trực tiếp. Huấn luyện mạng nơ-ron ánh xạ từ quan sát sang hành động, đúng như trong dữ liệu. Đơn giản, hiệu quả bất ngờ, và là điểm khởi đầu hợp lý cho mọi dự án.
Vấn đề sai số dồn. Robot lệch nhẹ khỏi quỹ đạo đã học, rơi vào trạng thái chưa từng thấy trong dữ liệu, hành động sai hơn, lệch xa hơn. Sai số cộng dồn nhanh và đây là điểm yếu cố hữu của bắt chước trực tiếp.
Cách chữa — thu thêm dữ liệu sửa sai. Cố tình đưa robot ra khỏi quỹ đạo rồi trình diễn cách quay lại. Dạy nó cách khôi phục chứ không chỉ cách làm đúng.
Học tăng cường khởi đầu từ trình diễn. Dùng trình diễn để có chính sách ban đầu tạm được, rồi cải thiện bằng thử và sai. Kết hợp ưu điểm hai bên và giảm mạnh số lần thử.
Suy ra hàm thưởng từ trình diễn. Thay vì bắt chước hành động, đoán xem người trình diễn đang tối ưu điều gì, rồi tối ưu điều đó. Về lý thuyết tổng quát hoá tốt hơn, trong thực hành khó và ít dùng.
Chính sách sinh dữ liệu — bước tiến gần đây
Thay đổi đáng kể nhất trong nhánh này vài năm qua.
Vấn đề với cách cũ. Mạng nơ-ron dự đoán một hành động duy nhất cho mỗi trạng thái. Nhưng trình diễn của người không nhất quán — cùng tình huống, lần này vòng trái, lần sau vòng phải. Mạng học ra trung bình của hai cách, và trung bình thường là đi thẳng vào vật cản.
Ý tưởng mới. Thay vì dự đoán một hành động, học phân bố các hành động hợp lý rồi sinh mẫu từ phân bố đó. Mô hình giữ được nhiều cách làm khác nhau thay vì trộn chúng lại.
Kỹ thuật dùng. Mô hình khuếch tán, vốn phát triển cho sinh ảnh, được áp dụng để sinh chuỗi hành động. Hiệu quả rõ rệt với các nhiệm vụ thao tác.
Sinh cả đoạn thay vì từng bước. Mô hình dự đoán một chuỗi hành động vài chục bước cùng lúc. Chuyển động mượt hơn và ít bị sai số dồn hơn.
Vì sao quan trọng. Đây là lý do nhiều kết quả thao tác gần đây trông tự nhiên hơn hẳn thế hệ trước, và nó cải thiện tỷ lệ thành công một cách đo được chứ không chỉ về mặt thẩm mỹ.
Vấn đề dữ liệu của ngành robot
Một khác biệt căn bản so với các lĩnh vực học máy khác.
Mô hình ngôn ngữ có cả internet để học. Mô hình thị giác có hàng tỷ ảnh. Robot không có gì tương đương — không tồn tại kho dữ liệu tương tác vật lý quy mô đó.
Dữ liệu robot rất đắt. Mỗi giờ dữ liệu cần một robot, một người vận hành và một hiện trường. Không thể thu thập bằng cách quét web.
Dữ liệu không dùng chung được dễ dàng. Dữ liệu thu trên cánh tay này thường không dùng được cho cánh tay khác vì hình học và động lực học khác nhau.
Hướng đang thử — bộ dữ liệu chung. Nhiều phòng lab góp dữ liệu từ nhiều loại robot vào một bộ chung, huấn luyện mô hình trên tất cả. Kết quả cho thấy có chuyển giao thật giữa các loại robot khác nhau, và đây là phát hiện đáng chú ý.
Hướng đang thử — dùng dữ liệu không phải robot. Học biểu diễn từ video người làm việc rồi tinh chỉnh bằng ít dữ liệu robot. Tận dụng được kho video khổng lồ sẵn có.
Nhận định thực tế. Thiếu dữ liệu là rào cản lớn hơn thiếu thuật toán. Nhóm nào giải được bài toán thu dữ liệu quy mô lớn với chi phí thấp sẽ tiến xa hơn nhóm có thuật toán tốt hơn.
Áp dụng trong công việc thật
Điều kiện để hướng này dùng được ngoài phòng lab.
Hợp nhất với nhiệm vụ lặp lại trong môi trường ổn định. Gắp và đặt trong dây chuyền, lắp ráp đơn giản, xếp hàng vào khay. Trình diễn vài chục lần là chạy được.
Ưu điểm lớn về mặt vận hành. Người vận hành dạy được robot mà không cần lập trình. Đây là thay đổi quan trọng về ai có thể triển khai robot, và nó mở rộng thị trường hơn bất kỳ cải tiến kỹ thuật nào.
Giới hạn hiện tại. Đổi vật thể hoặc đổi bố trí thì thường phải trình diễn lại. Khả năng tổng quát hoá còn hẹp.
Cần cơ chế phát hiện thất bại. Chính sách học được không biết mình đang làm sai. Phải có lớp kiểm tra bên ngoài — thị giác xác nhận, cảm biến lực, hoặc người giám sát.
Không phù hợp với nhiệm vụ cần đảm bảo an toàn nghiêm ngặt, vì không chứng minh được hành vi trong tình huống chưa gặp.
Cách triển khai thực dụng. Dùng chính sách học cho phần khó mô hình hoá, giữ bộ điều khiển truyền thống cho phần cần chính xác và an toàn, và luôn có đường lùi khi phát hiện bất thường.
Câu hỏi thường gặp
Cần bao nhiêu lần trình diễn để dạy một kỹ năng?
Với nhiệm vụ hẹp trong điều kiện cố định thì vài chục lần thường đủ. Muốn robot xử lý được vị trí và vật thể thay đổi thì cần vài trăm tới vài nghìn, và đó là chỗ chi phí tăng vọt.
Vấn đề sai số dồn trong bắt chước là gì?
Robot lệch nhẹ khỏi quỹ đạo đã học, rơi vào trạng thái chưa có trong dữ liệu, hành động sai hơn và lệch xa hơn. Cách chữa là thu thêm dữ liệu dạy cách khôi phục từ trạng thái lệch.
Vì sao chính sách sinh dữ liệu cải thiện được kết quả?
Vì trình diễn của người không nhất quán — cùng tình huống có thể vòng trái hoặc vòng phải. Mạng dự đoán một hành động duy nhất sẽ học ra trung bình, mà trung bình thường đi thẳng vào vật cản.
Vì sao thiếu dữ liệu là rào cản lớn hơn thiếu thuật toán?
Vì không tồn tại kho dữ liệu tương tác vật lý quy mô internet. Mỗi giờ dữ liệu cần một robot, một người vận hành và một hiện trường, và dữ liệu thường không dùng chung được giữa các loại robot.
Đọc thêm trong Lập kế hoạch chuyển động và SLAM & định vị.
