NghienCuuRobot.comNghiên Cứu Robot
Benchmark & tập dữ liệu

Tập dữ liệu công khai cho robot

Có gì dùng được, chúng thiếu gì, và vì sao dữ liệu thu tại chỗ vẫn quan trọng hơn.

Ổ cứng và máy chủ lưu trữ dữ liệu

Không có kho dữ liệu robot quy mô internet, nhưng cũng không phải không có gì. Điều quan trọng là biết loại nào dùng được cho việc gì, và biết chỗ nào chúng không giúp được.

Các loại tập dữ liệu đang có

Dữ liệu điều hướng và định vị. Chuỗi dữ liệu từ camera, LiDAR và IMU kèm quỹ đạo thật, thu bằng cách lái robot hoặc xe qua các môi trường. Đây là loại phong phú nhất và được dùng nhiều nhất cho các phương pháp định vị.

Dữ liệu thao tác. Chuỗi trạng thái và hành động khi robot làm nhiệm vụ. Ít hơn nhiều, và bị phân mảnh vì mỗi bộ thu trên một loại cánh tay.

Dữ liệu nhận thức. Ảnh có nhãn phân vùng, nhãn tư thế vật thể, nhãn điểm cầm. Chủ yếu để huấn luyện phần thị giác.

Dữ liệu chuyển động người. Quỹ đạo người đi lại trong không gian công cộng. Dùng cho dự đoán chuyển động và cho robot đi trong đám đông.

Bộ dữ liệu hợp nhất nhiều robot. Nỗ lực gần đây — nhiều phòng lab góp dữ liệu từ nhiều loại cánh tay vào một bộ chung, chuẩn hoá định dạng. Đây là hướng đáng chú ý nhất hiện nay.

Dữ liệu sinh trong mô phỏng. Vô hạn, có nhãn hoàn hảo, miễn phí. Vấn đề duy nhất là khoảng cách với thực tế, nhưng với một số bài toán nhận thức thì đủ dùng.

Giới hạn cần biết

Điều kiện thu rất chọn lọc. Phần lớn dữ liệu thu ở phòng lab hoặc toà nhà đại học ở các nước ôn đới. Ánh sáng, kiến trúc, cách bố trí đồ đạc đều khác Việt Nam.

Vật thể không đại diện. Đồ dùng trong bộ dữ liệu quốc tế khác đồ dùng thực tế ở nơi triển khai. Chai lọ, bao bì, dụng cụ đều khác.

Ít dữ liệu thất bại. Hầu hết bộ dữ liệu chỉ chứa các lần thực hiện thành công. Mô hình học từ đó không biết trạng thái lỗi trông thế nào — mà đó chính là thứ hệ thống thực tế cần nhận ra.

Phân bố không cân bằng. Vài loại tình huống rất nhiều, các trường hợp hiếm gần như không có. Mà trường hợp hiếm mới là chỗ hệ thống hỏng.

Chất lượng nhãn không đồng đều. Nhãn do người gán có sai sót, đặc biệt với nhãn tư thế ba chiều vốn khó gán chính xác.

Giấy phép sử dụng. Nhiều bộ chỉ cho phép dùng cho nghiên cứu. Dùng thương mại phải kiểm điều khoản, và đây là chi tiết hay bị bỏ qua cho tới khi thành vấn đề.

Kết hợp dữ liệu công khai với dữ liệu tại chỗ

Cách dùng hiệu quả nhất trong thực tế.

Huấn luyện trước rồi tinh chỉnh. Dùng dữ liệu công khai lớn để mô hình học biểu diễn chung, rồi tinh chỉnh bằng vài trăm mẫu thu tại chỗ. Đây là công thức tiêu chuẩn và nó hoạt động tốt.

Vì sao hiệu quả. Phần khó — học nhận biết hình dạng, bề mặt, cấu trúc — cần rất nhiều dữ liệu và không phụ thuộc nơi chốn. Phần đặc thù — vật thể cụ thể, ánh sáng cụ thể — cần ít dữ liệu.

Bao nhiêu dữ liệu tại chỗ là đủ. Với bài toán nhận thức hẹp, thường vài trăm ảnh. Con số nhỏ hơn nhiều người nghĩ, và điều này đáng nói vì nó làm dự án khả thi.

Thu dữ liệu tại chỗ thế nào cho đúng. Ở chính nơi triển khai, chính điều kiện đèn, chính góc camera, trong nhiều thời điểm khác nhau trong ngày.

Đừng quên thu dữ liệu tình huống xấu. Vật đặt lệch, che khuất một phần, ánh sáng kém. Đây là những mẫu có giá trị nhất và ít ai chịu thu.

Thu liên tục sau khi triển khai. Hệ thống đang chạy là nguồn dữ liệu tốt nhất. Lưu lại các trường hợp mô hình không chắc chắn, gán nhãn định kỳ, huấn luyện lại.

Chuẩn bị dữ liệu đúng cách

Phần chiếm nhiều thời gian nhất và ít được viết nhất.

Tách tập kiểm thử trước khi làm gì khác. Và không bao giờ nhìn vào nó trong quá trình phát triển. Vi phạm nguyên tắc này là cách phổ biến nhất để tự lừa mình.

Tách theo phiên, không theo khung hình. Với dữ liệu chuỗi thời gian, chia ngẫu nhiên từng khung sẽ để khung liền kề rơi vào cả hai tập, và kết quả kiểm thử sẽ đẹp giả tạo.

Kiểm tra phân bố nhãn. Lớp nào chiếm bao nhiêu phần trăm. Mất cân bằng nặng cần xử lý bằng lấy mẫu hoặc bằng trọng số.

Xem dữ liệu bằng mắt. Mở ngẫu nhiên vài trăm mẫu và nhìn. Luôn phát hiện ra vấn đề — nhãn sai, ảnh hỏng, mẫu trùng. Bước này bị bỏ qua thường xuyên và nó luôn đáng làm.

Ghi lại quy trình thu. Thiết bị gì, cài đặt thế nào, thu khi nào. Sáu tháng sau sẽ cần và sẽ không nhớ.

Quản lý phiên bản dữ liệu. Thay đổi tập dữ liệu mà không ghi lại thì không giải thích được vì sao kết quả thay đổi. Đây là nguồn nhầm lẫn lớn trong các dự án kéo dài.

Vấn đề riêng tư và quyền dữ liệu

Phần cần cân nhắc nghiêm túc, đặc biệt khi triển khai thương mại.

Camera robot thu hình người. Trong nhà hàng, khách sạn, bệnh viện. Dữ liệu này chứa hình ảnh nhận dạng được cá nhân.

Dùng để huấn luyện là một quyết định riêng. Khác với dùng để robot hoạt động. Cần xem xét cơ sở pháp lý và nên hỏi ý kiến chủ cơ sở.

Biện pháp giảm rủi ro. Làm mờ khuôn mặt trước khi lưu. Chỉ lưu dữ liệu chiều sâu hoặc dữ liệu đã trừu tượng hoá thay vì ảnh màu. Xoá theo lịch.

Trong không gian nhạy cảm. Bệnh viện, trường học, nơi cư trú. Yêu cầu cao hơn hẳn và nên tham vấn trước khi thu bất cứ gì.

Thông báo cho người trong khu vực. Biển báo có camera đang hoạt động là mức tối thiểu.

Với dữ liệu doanh nghiệp. Bố trí kho, quy trình vận hành, sản phẩm — đây là thông tin có giá trị cạnh tranh. Hợp đồng nên nói rõ ai sở hữu dữ liệu robot thu được và bên cung cấp được dùng vào việc gì. Điều khoản này thường thiếu và nó gây tranh chấp về sau.

Câu hỏi thường gặp

Giới hạn lớn nhất của tập dữ liệu công khai là gì?

Điều kiện thu rất chọn lọc — phần lớn ở phòng lab hoặc toà nhà đại học nước ngoài — và hầu như không có dữ liệu thất bại, trong khi đó chính là thứ hệ thống thực tế cần nhận ra.

Cách kết hợp dữ liệu công khai với dữ liệu tại chỗ?

Huấn luyện trước trên dữ liệu công khai lớn để mô hình học biểu diễn chung, rồi tinh chỉnh bằng vài trăm mẫu thu đúng tại nơi triển khai.

Sai lầm phổ biến khi chia tập kiểm thử với dữ liệu chuỗi?

Chia ngẫu nhiên theo từng khung hình khiến khung liền kề rơi vào cả tập huấn luyện lẫn tập kiểm thử, cho kết quả đẹp giả tạo. Phải chia theo phiên.

Cần lưu ý gì về quyền dữ liệu khi triển khai thương mại?

Camera robot thu hình người nên cần cân nhắc pháp lý và biện pháp giảm rủi ro. Hợp đồng nên nói rõ ai sở hữu dữ liệu và bên cung cấp được dùng vào việc gì.

Đọc thêm trong SLAM & định vịThị giác máy cho robot.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138