Huấn luyện trong mô phỏng là cách duy nhất để có đủ số lần thử. Nhưng chính sách học được trong thế giới ảo thường thất bại ngay lần đầu chạy trên robot thật, và hiểu vì sao là một phần cốt lõi của nghề.
Mô phỏng sai ở đâu
Ma sát. Mô hình ma sát trong bộ mô phỏng là xấp xỉ đơn giản. Ma sát thật phụ thuộc vật liệu, nhiệt độ, độ ẩm, bụi, và thay đổi theo độ mòn. Đây là nguồn sai lệch lớn nhất trong các bài toán có tiếp xúc.
Va chạm và tiếp xúc. Bộ mô phỏng xử lý va chạm bằng phương pháp gần đúng để chạy nhanh. Vật thể thật biến dạng, nảy, trượt theo cách khác.
Độ trễ. Trong mô phỏng, lệnh có hiệu lực tức thì. Trên robot thật có độ trễ từ cảm biến, từ truyền thông, từ đáp ứng cơ khí. Chính sách học trong điều kiện không trễ thường dao động khi gặp trễ thật.
Nhiễu cảm biến. Mô phỏng cho quan sát hoàn hảo trừ khi cố tình thêm nhiễu. Cảm biến thật có nhiễu, có điểm mù, có lúc trả giá trị sai hẳn.
Sai lệch cơ khí. Khớp có độ rơ, thanh có độ võng, khối lượng không đúng như bản vẽ. Hai robot cùng model cũng khác nhau đôi chút.
Vấn đề cốt lõi: chính sách học được sẽ khai thác mọi đặc điểm của mô phỏng, kể cả những đặc điểm không có thật.
Ngẫu nhiên hoá miền
Kỹ thuật hiệu quả nhất hiện nay và ý tưởng thì đơn giản.
Ý tưởng. Thay vì cố làm mô phỏng chính xác, hãy làm nó biến thiên. Mỗi lần huấn luyện, đổi ngẫu nhiên hệ số ma sát, khối lượng, độ trễ, cường độ nhiễu, ánh sáng, màu sắc.
Vì sao hiệu quả. Chính sách buộc phải học cách làm việc trong một dải điều kiện rộng thay vì tối ưu cho một bộ tham số cụ thể. Thực tế khi đó chỉ là một điểm nữa trong dải đã gặp.
Ngẫu nhiên hoá thị giác. Đổi màu, kết cấu bề mặt, vị trí đèn, nền phía sau. Giúp mô hình thị giác không phụ thuộc vào chi tiết hình ảnh mà mô phỏng dựng ra.
Ngẫu nhiên hoá vật lý. Đổi khối lượng, ma sát, độ cứng, độ trễ. Quan trọng hơn ngẫu nhiên hoá thị giác với các bài toán điều khiển.
Cái giá. Chính sách bền hơn nhưng bảo thủ hơn — nó học cách an toàn trong mọi điều kiện nên không tối ưu trong điều kiện thật. Dải ngẫu nhiên hoá quá rộng thì không học được gì.
Chọn dải thế nào. Đo tham số thật trên robet nếu được, rồi ngẫu nhiên hoá quanh giá trị đó với biên độ vừa phải. Đoán mò dải là sai lầm thường gặp.
Các hướng khác
Hiệu chỉnh mô phỏng theo dữ liệu thật. Chạy robot thật một số lần, đo kết quả, chỉnh tham số mô phỏng cho khớp. Giảm khoảng cách trực tiếp, nhưng chỉ khớp được ở vùng đã đo.
Tinh chỉnh trên robot thật. Huấn luyện phần lớn trong mô phỏng rồi tinh chỉnh vài trăm lần thử trên máy thật. Rất hiệu quả và là cách nhiều nhóm dùng, miễn phần cứng chịu được số lần đó.
Học biểu diễn trung gian. Thay vì để chính sách nhìn thẳng vào ảnh, cho nó nhìn vào biểu diễn trừu tượng hơn — vị trí vật thể, mặt nạ phân vùng. Biểu diễn này giống nhau hơn giữa mô phỏng và thực tế.
Thích nghi trực tuyến. Chính sách ước lượng tham số môi trường trong lúc chạy và tự điều chỉnh. Hướng có kết quả tốt với robot đi bằng chân trên nhiều loại địa hình.
Thêm bộ điều khiển cổ điển ở tầng dưới. Chính sách học chỉ ra lệnh mức cao, còn bộ điều khiển truyền thống lo phần thực thi. Giảm phụ thuộc vào độ chính xác của mô phỏng ở mức thấp, và là kiến trúc thực dụng nhất trong sản phẩm.
Đánh giá cho đúng
Chỗ nhiều kết quả công bố bị thổi phồng một cách vô tình.
Điểm số trong mô phỏng không phải kết quả. Chỉ là chỉ báo. Con số duy nhất có ý nghĩa là tỷ lệ thành công trên robot thật.
Số lần thử thật phải nêu rõ. Thành công mười lần trên mười lần thử nghe khác hẳn so với thành công mười lần được chọn từ năm mươi lần.
Điều kiện thử phải đa dạng. Thử với đúng một vật thể ở đúng một vị trí thì không nói lên gì về khả năng tổng quát hoá.
So với đường cơ sở đơn giản. Nhiều bài toán giải được bằng phương pháp thủ công đơn giản với tỷ lệ thành công cao hơn. Không so thì không biết học tăng cường có đóng góp gì.
Thử trên robot khác cùng loại. Chính sách chỉ chạy trên đúng một máy cụ thể là chính sách đã khớp vào đặc tính riêng của máy đó.
Đo cả độ ổn định theo thời gian. Chạy được hôm nay và tuần sau còn chạy được không, khi khớp đã mòn thêm và nhiệt độ phòng đã khác.
Lời khuyên cho người bắt đầu
Thực dụng, dựa trên những chỗ hay mất thời gian nhất.
Bắt đầu từ mô phỏng và đừng vội lên máy thật. Nhưng cũng đừng ở lại mô phỏng quá lâu — chuyển sớm để biết khoảng cách thật nằm ở đâu, rồi quay lại sửa.
Đo tham số vật lý của robot thật ngay từ đầu. Khối lượng, ma sát, độ trễ. Vài giờ đo đạc tiết kiệm nhiều tuần.
Thêm độ trễ vào mô phỏng ngay từ đầu. Đây là sai lệch dễ mô phỏng nhất và bị bỏ qua nhiều nhất.
Ngẫu nhiên hoá ngay từ đầu. Thêm vào sau khi đã huấn luyện xong thường phải huấn luyện lại từ đầu.
Xem robot chạy, đừng chỉ nhìn số. Phần lớn vấn đề nhìn thấy ngay trong ba mươi giây quan sát mà đường cong điểm số không thể hiện.
Ghi lại mọi thứ khi chạy thật. Dữ liệu robot thật đắt, đừng để mất. Mỗi lần chạy nên lưu đủ để phân tích lại sau.
Và giữ một đường cơ sở không dùng học máy. Để luôn biết mình có thật sự tiến bộ hay chỉ đang phức tạp hoá.
Câu hỏi thường gặp
Nguồn sai lệch lớn nhất giữa mô phỏng và thực tế là gì?
Ma sát và tiếp xúc. Mô hình ma sát trong bộ mô phỏng là xấp xỉ đơn giản, còn ma sát thật phụ thuộc vật liệu, nhiệt độ, độ ẩm, bụi và thay đổi theo độ mòn.
Ngẫu nhiên hoá miền hoạt động thế nào?
Thay vì làm mô phỏng chính xác, mỗi lần huấn luyện đổi ngẫu nhiên ma sát, khối lượng, độ trễ, nhiễu và ánh sáng. Chính sách buộc phải bền trong dải rộng, và thực tế chỉ là một điểm trong dải đó.
Cái giá của ngẫu nhiên hoá miền là gì?
Chính sách bền hơn nhưng bảo thủ hơn vì phải an toàn trong mọi điều kiện. Nếu dải ngẫu nhiên hoá quá rộng thì không học được gì cả.
Đánh giá kết quả thế nào cho đúng?
Chỉ tỷ lệ thành công trên robot thật mới có ý nghĩa, phải nêu rõ tổng số lần thử, thử ở nhiều điều kiện, so với đường cơ sở đơn giản và thử trên robot khác cùng loại.
Đọc thêm trong Điều khiển & lý thuyết và Phòng lab & nhóm nghiên cứu.
