Trong xử lý ngôn ngữ, một mô hình lớn huấn luyện trên dữ liệu khổng lồ làm được rất nhiều việc mà không cần huấn luyện riêng. Câu hỏi tự nhiên là liệu điều đó có lặp lại với robot, và câu trả lời hiện nay là có một phần.
Ý tưởng và vì sao hấp dẫn
Cách làm hiện tại. Mỗi nhiệm vụ huấn luyện một chính sách riêng, trên một robot cụ thể, với dữ liệu riêng. Đổi nhiệm vụ thì làm lại từ đầu.
Ý tưởng mô hình nền tảng. Huấn luyện một mô hình lớn trên dữ liệu từ nhiều robot và nhiều nhiệm vụ. Mô hình đó học được những mẫu chung — cách vật thể chuyển động, cách cầm nắm, quan hệ giữa ngôn ngữ và hành động — rồi áp dụng cho nhiệm vụ mới với rất ít dữ liệu bổ sung.
Vì sao hấp dẫn. Giải được bài toán chi phí dữ liệu. Nếu mô hình nền tảng làm được, mỗi ứng dụng mới chỉ cần vài chục ví dụ thay vì vài nghìn.
Dạng phổ biến — mô hình thị giác ngôn ngữ hành động. Đầu vào là ảnh camera cộng câu lệnh bằng chữ; đầu ra là hành động robot. Xây trên nền mô hình thị giác ngôn ngữ có sẵn rồi huấn luyện thêm với dữ liệu robot.
Vì sao xây trên nền có sẵn. Mô hình thị giác ngôn ngữ đã hiểu vật thể và ngôn ngữ từ dữ liệu internet. Phần cần thêm chỉ là ánh xạ sang hành động, và phần đó cần ít dữ liệu hơn nhiều so với học từ đầu.
Kết quả đã đạt được
Tách phần đã chứng minh khỏi phần kỳ vọng.
Chuyển giao giữa các loại robot là có thật. Mô hình huấn luyện trên dữ liệu từ nhiều loại cánh tay khác nhau chạy tốt hơn mô hình chỉ huấn luyện trên một loại, kể cả khi đánh giá trên chính loại đó. Kết quả này ban đầu gây bất ngờ.
Hiểu lệnh bằng ngôn ngữ tự nhiên. Ra lệnh bằng câu chữ thay vì chọn từ danh sách nhiệm vụ đã lập trình. Hoạt động được với các biến thể diễn đạt.
Tổng quát hoá sang vật thể chưa gặp ở mức hạn chế. Mô hình nhặt được vật chưa có trong dữ liệu huấn luyện nếu nó giống về hình dạng và cách cầm với vật đã gặp.
Vài kỹ năng ghép được. Mô hình thực hiện được lệnh gồm nhiều bước mà từng bước đã học riêng.
Nhưng tỷ lệ thành công vẫn thấp so với yêu cầu sản phẩm. Các con số công bố thường nằm trong khoảng chấp nhận được cho nghiên cứu và còn xa mức cần cho vận hành không giám sát.
Vì sao khó hơn mô hình ngôn ngữ
Những khác biệt cơ bản, không phải chỉ là vấn đề quy mô.
Không có dữ liệu quy mô internet. Đã nói ở trên và là rào cản lớn nhất. Toàn bộ dữ liệu robot công khai hiện có vẫn rất nhỏ so với dữ liệu văn bản.
Sai lầm có hậu quả vật lý. Mô hình ngôn ngữ trả lời sai thì người dùng đọc lại. Robot làm sai thì vỡ đồ hoặc hỏng máy. Ngưỡng độ tin cậy cần cao hơn hẳn.
Không có nút hoàn tác. Đổ nước ra sàn thì không quay lại được. Điều này ảnh hưởng tới cách phải thiết kế hệ thống chứ không chỉ tới mô hình.
Phải chạy thời gian thực. Mô hình ngôn ngữ chậm vài giây thì chấp nhận được. Vòng điều khiển robot cần chạy nhiều lần mỗi giây. Ràng buộc này giới hạn kích thước mô hình dùng được trên máy thật.
Phần cứng khác nhau. Mọi văn bản đều là chuỗi ký tự. Mỗi robot có số khớp, tầm với và cảm biến khác nhau. Chuẩn hoá biểu diễn hành động qua các loại robot là bài toán chưa giải triệt để.
Kiến trúc thực dụng đang dùng
Cách các nhóm xử lý ràng buộc thời gian thực.
Hai tầng tốc độ. Mô hình lớn chạy chậm ở tầng trên, sinh ra mục tiêu hoặc kế hoạch mức cao vài lần mỗi giây. Bộ điều khiển nhỏ chạy nhanh ở tầng dưới, thực thi mục tiêu đó ở tần số cao.
Vì sao hợp lý. Phần cần suy luận thì không cần nhanh; phần cần nhanh thì không cần suy luận. Đây cũng là cấu trúc quen thuộc trong điều khiển cổ điển, chỉ thay tầng trên bằng mô hình học được.
Chưng cất mô hình. Huấn luyện mô hình lớn rồi ép kiến thức sang mô hình nhỏ chạy được trên máy tính nhúng của robot.
Tính trên máy chủ. Robot gửi quan sát lên máy chủ, nhận lệnh về. Bỏ được giới hạn phần cứng nhưng thêm độ trễ mạng và phụ thuộc kết nối — vấn đề thực tế nghiêm trọng trong triển khai.
Dự đoán trước một đoạn. Mô hình sinh cả chuỗi hành động cho vài giây tới, robot thực thi chuỗi đó trong lúc mô hình tính đoạn tiếp theo. Che được độ trễ một cách hiệu quả.
Đánh giá tỉnh táo về triển vọng
Cân bằng giữa hai thái cực thường gặp.
Có tiến bộ thật và đo được. Khả năng nhận lệnh tự nhiên, tổng quát hoá sang vật thể mới, chuyển giao giữa các loại robot — ba điều này ba năm trước chưa có.
Nhưng chưa phải bước ngoặt như với ngôn ngữ. Mô hình ngôn ngữ đạt mức dùng được cho sản phẩm rất nhanh. Robot thì chưa, và lý do chính là dữ liệu chứ không phải kiến trúc.
Điều cần theo dõi. Tỷ lệ thành công trên nhiệm vụ chưa gặp, trên robot chưa gặp, trong môi trường chưa gặp. Ba con số này là thước đo thật của tiến bộ.
Điều không nên suy ra. Rằng vì mô hình ngôn ngữ tiến nhanh nên robot cũng sẽ vậy. Ràng buộc khác nhau căn bản.
Điều hợp lý để kỳ vọng. Cải thiện đều đặn trong khả năng tổng quát hoá, và ứng dụng thực tế trước hết ở những nơi môi trường đã được cấu trúc sẵn.
Cách theo dõi hiệu quả nhất. Mỗi năm một lần, xem có robot nào đang làm việc thật ngoài phòng lab bằng phương pháp này chưa. Con số đó nói lên nhiều hơn mọi bài báo.
Câu hỏi thường gặp
Mô hình nền tảng cho robot là gì?
Một mô hình lớn huấn luyện trên dữ liệu từ nhiều robot và nhiều nhiệm vụ, học được mẫu chung rồi áp dụng cho nhiệm vụ mới với rất ít dữ liệu bổ sung.
Kết quả nào đã được chứng minh?
Chuyển giao giữa các loại robot là có thật, hiểu lệnh bằng ngôn ngữ tự nhiên hoạt động được, và tổng quát hoá sang vật thể chưa gặp ở mức hạn chế — nhưng tỷ lệ thành công còn xa mức sản phẩm.
Vì sao khó hơn mô hình ngôn ngữ?
Không có dữ liệu quy mô internet, sai lầm có hậu quả vật lý không hoàn tác được, phải chạy thời gian thực, và mỗi robot có phần cứng khác nhau nên khó chuẩn hoá biểu diễn hành động.
Kiến trúc thực dụng để xử lý ràng buộc thời gian thực?
Hai tầng tốc độ — mô hình lớn chạy chậm sinh mục tiêu mức cao, bộ điều khiển nhỏ chạy nhanh thực thi. Kèm dự đoán trước một đoạn hành động để che độ trễ.
Đọc thêm trong Phòng lab & nhóm nghiên cứu và Lập kế hoạch chuyển động.