Trong xử lý ảnh, hai nhóm có thể so kết quả trực tiếp vì cùng chạy trên một tập kiểm thử. Trong robot thì không, và điều đó ảnh hưởng tới tốc độ tiến bộ của cả ngành nhiều hơn người ta thường nghĩ.
Nguồn gốc khó khăn
Phần cứng khác nhau. Cánh tay khác nhau về tầm với, độ chính xác, tốc độ, cơ cấu kẹp. Kết quả trên máy này không so được với máy kia.
Môi trường khác nhau. Ánh sáng, bố trí, nền, độ cao bàn. Mọi thứ đều ảnh hưởng và không thứ nào được ghi chép đầy đủ.
Vật thể khác nhau. Nhóm này thử với vật in ba chiều, nhóm kia với đồ dùng thật. Độ khó chênh nhau rất xa.
Định nghĩa thành công khác nhau. Cầm được vật lên tính là thành công, hay phải giữ được năm giây, hay phải đặt đúng vị trí. Ba định nghĩa cho ba con số rất khác.
Không lặp lại được điều kiện. Ngay cùng một phòng lab, đặt lại hiện trường mỗi lần cũng khác. Với thao tác thì vị trí ban đầu ảnh hưởng lớn tới kết quả.
Chi phí thử nghiệm cao. Chạy một trăm lần thử trên robot thật mất cả ngày. Trong xử lý ảnh, chạy hết tập kiểm thử mất vài phút. Chênh lệch này đổi hẳn cách làm nghiên cứu.
Hậu quả với ngành
Không chỉ là bất tiện học thuật.
Không biết phương pháp nào thật sự tốt hơn. Hai bài báo cùng báo tỷ lệ thành công chín mươi phần trăm nhưng ở hai điều kiện khác nhau. Không so được nghĩa là không biết nên xây tiếp trên cái nào.
Tiến bộ khó đo. Ngành này tiến nhanh hay chậm? Không có thước đo chung thì đây là câu hỏi chỉ trả lời được bằng cảm nhận.
Kết quả khó tái lập. Nhóm khác thử lại thường ra số thấp hơn đáng kể. Điều này bình thường tới mức được coi là hiển nhiên, mà lẽ ra không nên.
Xu hướng công bố chỉ cái thành công. Không có chuẩn thì dễ chọn điều kiện thử có lợi. Không nhất thiết cố ý — chỉ là điều kiện được điều chỉnh dần cho tới khi kết quả đẹp.
Khó cho người ngoài đánh giá. Doanh nghiệp muốn biết công nghệ nào chín thì không có cách nào ngoài tự thử.
Và hậu quả tinh tế nhất. Nghiên cứu dồn về những bài toán dễ đo được, còn những bài toán quan trọng nhưng khó đo thì ít người làm.
Các hướng đang thử
Benchmark trong mô phỏng. Ai cũng chạy được cùng một môi trường ảo. Giải được vấn đề so sánh nhưng kết quả trong mô phỏng không đảm bảo gì về thực tế — đúng bài toán mà chính ngành đang cố tránh.
Bộ vật thể chuẩn hoá. Một tập vật thể thật được định nghĩa rõ, ai cũng mua được cùng bộ. Cải thiện đáng kể và đã được nhiều nhóm áp dụng. Vẫn không giải quyết được khác biệt phần cứng và môi trường.
Phòng lab từ xa. Cho phép các nhóm gửi mã chạy trên robot thật đặt ở nơi khác. Đảm bảo cùng phần cứng và cùng điều kiện. Hạn chế về quy mô và loại nhiệm vụ thử được.
Cuộc thi. Nhiều đội cùng làm một nhiệm vụ trên cùng hiện trường, cùng thời điểm, có trọng tài. So sánh công bằng nhất hiện có. Tổ chức tốn kém nên hiếm.
Giao thức báo cáo chuẩn. Không chuẩn hoá điều kiện mà chuẩn hoá cách mô tả điều kiện — bắt buộc ghi rõ phần cứng, số lần thử, định nghĩa thành công. Đơn giản, rẻ, và có thể là hướng thực dụng nhất.
Đọc kết quả khi không có chuẩn
Kỹ năng cần thiết cho người đọc bài báo.
Tìm tổng số lần thử. Con số quan trọng nhất và hay bị giấu. Hai mươi lần thử thì tỷ lệ chín mươi phần trăm có khoảng tin cậy rất rộng.
Tìm định nghĩa thành công. Nếu bài báo không nêu rõ, coi như kết quả không diễn giải được.
Tìm mô tả điều kiện. Vật thể gì, đặt thế nào, ánh sáng ra sao. Mô tả càng chi tiết thì càng đáng tin, vì nhóm giấu điều kiện thường có lý do.
Tìm so sánh với đường cơ sở đơn giản. Nhiều bài toán giải được bằng phương pháp thủ công với tỷ lệ cao. Không so thì không biết phương pháp mới đóng góp gì.
Tìm phần thất bại. Bài báo có phân tích các trường hợp hỏng là bài báo đáng tin hơn hẳn.
Cảnh giác với kết quả chỉ có trong mô phỏng. Không sai, nhưng đừng suy ra kết luận về thực tế.
Nguyên tắc đơn giản. Số lần thử nhân với độ đa dạng điều kiện là thước đo sức nặng của bằng chứng. Một con số đẹp từ mười lần thử ở một điều kiện gần như không nói lên gì.
Xây đánh giá cho dự án của mình
Thực dụng, cho người đang làm việc thật.
Định nghĩa thành công trước khi bắt đầu. Viết ra. Nếu định nghĩa sau khi có kết quả thì nó sẽ bị uốn theo kết quả.
Giữ một bộ thử cố định. Cùng vật thể, cùng vị trí, cùng ánh sáng. Chạy lại mỗi khi có thay đổi. Cho phép so sánh theo thời gian, và đây là giá trị lớn nhất.
Thêm một bộ thử khó. Điều kiện xấu hơn thực tế một chút. Cho biết hệ thống còn dư địa bao nhiêu.
Chạy đủ số lần. Ít nhất ba mươi lần cho mỗi cấu hình. Ít hơn thì nhiễu lớn hơn hiệu ứng đang đo.
Ghi lại mọi lần thất bại kèm dữ liệu. Ảnh, nhật ký, mô tả. Đây là tài sản quý nhất của dự án.
Phân loại thất bại theo nguyên nhân. Thị giác sai, hiệu chỉnh lệch, kẹp trượt, kế hoạch hỏng. Biết loại nào chiếm nhiều nhất là biết nên sửa gì.
Và đừng chỉ đo cái dễ đo. Tỷ lệ thành công quan trọng, nhưng thời gian mỗi chu kỳ, số lần cần người can thiệp và độ ổn định qua nhiều tuần cũng quyết định hệ thống có dùng được không.
Câu hỏi thường gặp
Vì sao ngành robot khó có benchmark chung?
Vì phần cứng, môi trường, vật thể và định nghĩa thành công đều khác nhau giữa các nhóm, điều kiện không lặp lại được, và chi phí chạy thử trên robot thật rất cao.
Hậu quả tinh tế nhất của việc thiếu chuẩn là gì?
Nghiên cứu dồn về những bài toán dễ đo được, còn những bài toán quan trọng nhưng khó đo thì ít người làm.
Con số nào quan trọng nhất khi đọc kết quả?
Tổng số lần thử, và nó hay bị giấu. Số lần thử nhân với độ đa dạng điều kiện là thước đo sức nặng của bằng chứng.
Nên xây đánh giá cho dự án của mình thế nào?
Định nghĩa thành công trước khi bắt đầu, giữ một bộ thử cố định chạy lại sau mỗi thay đổi, chạy ít nhất ba mươi lần mỗi cấu hình và phân loại thất bại theo nguyên nhân.
Đọc thêm trong Thị giác máy cho robot và Lập kế hoạch chuyển động.
