Mô hình đạt chín mươi tư phần trăm trên tập kiểm thử. Robot vẫn nhặt trượt một phần ba số lần. Hai con số này không mâu thuẫn, và hiểu vì sao là kỹ năng chẩn đoán quan trọng nhất trong lĩnh vực này.
Vì sao điểm mô hình không phản ánh tỷ lệ thành công
Tập kiểm thử không giống điều kiện thật. Ảnh trong tập kiểm thử chụp ở điều kiện chuẩn bị kỹ. Ảnh khi vận hành có nhoè, có bóng, có ống kính bẩn.
Chỉ số trung bình che sự cố tập trung. Chín mươi tư phần trăm đúng nghe tốt, nhưng nếu sáu phần trăm sai đều rơi vào đúng loại vật thường xuyên gặp nhất thì hệ thống hỏng trong thực tế.
Sai số cộng dồn qua các khâu. Thị giác đúng chín mươi tư, hiệu chỉnh lệch vài milimet, cơ cấu kẹp có dung sai, vật hơi trơn. Nhân các tỷ lệ lại thì kết quả cuối thấp hơn nhiều.
Chỉ số không đo cái quan trọng. Độ chồng lấn mặt nạ cao không có nghĩa là ranh giới chỗ cần cầm chính xác. Cần chỉ số gắn với hành động chứ không chỉ với ảnh.
Kết luận thực hành. Chỉ số duy nhất đáng tin là tỷ lệ hoàn thành nhiệm vụ trên hệ thống thật. Mọi chỉ số khác chỉ để chẩn đoán.
Tách nguyên nhân theo khâu
Quy trình chẩn đoán có hệ thống, thay vì đoán.
Bước một — thị giác có thấy vật không. Ghi lại ảnh cùng kết quả phát hiện ở mỗi lần thất bại. Xem lại. Nếu mô hình không thấy vật thì vấn đề ở thị giác.
Bước hai — vị trí ước lượng có đúng không. So vị trí mô hình báo với vị trí thật đo bằng tay. Lệch có hệ thống theo một hướng là dấu hiệu hiệu chỉnh sai, không phải mô hình sai.
Bước ba — tay có tới đúng chỗ không. Ra lệnh cho tay tới toạ độ đã biết chính xác, đo xem nó tới đâu. Tách được lỗi cơ khí khỏi lỗi thị giác.
Bước bốn — cầm có chắc không. Tới đúng chỗ mà vẫn trượt thì vấn đề ở cơ cấu kẹp hoặc ở điểm cầm được chọn.
Bước năm — có giữ được suốt quá trình không. Cầm được rồi rơi giữa đường là bài toán khác nữa.
Giá trị của quy trình này. Phần lớn nhóm đổ lỗi cho mô hình thị giác và huấn luyện lại, trong khi nguyên nhân thật là hiệu chỉnh trôi — mất nhiều tuần cho việc mà một buổi đo đạc giải quyết được.
Hiệu chỉnh — nguồn lỗi bị đánh giá thấp nhất
Hiệu chỉnh nội tại camera. Tiêu cự, tâm ảnh, méo ống kính. Sai thì mọi phép chuyển từ ảnh sang không gian đều sai.
Hiệu chỉnh tay và mắt. Quan hệ vị trí giữa camera và gốc toạ độ robot. Đây là nguồn lỗi phổ biến nhất trong hệ thống thao tác.
Vì sao nó trôi. Rung động, va chạm nhẹ, thay đổi nhiệt độ, siết lại ốc. Hiệu chỉnh làm lúc lắp đặt không giữ nguyên sau vài tháng.
Triệu chứng. Robot luôn với lệch cùng một hướng, cùng một khoảng. Rất đặc trưng và dễ nhận nếu biết tìm.
Cách kiểm nhanh. Đặt vật ở vị trí biết chính xác, xem hệ thống báo toạ độ nào. Lặp ở vài vị trí khác nhau khắp vùng làm việc — lệch đều là hiệu chỉnh, lệch khác nhau theo vị trí là méo ống kính hoặc lỗi cơ khí.
Khuyến nghị vận hành. Kiểm hiệu chỉnh theo lịch, không chờ tới khi có sự cố. Một quy trình mười phút mỗi tháng tiết kiệm nhiều ngày điều tra.
Cải thiện điều kiện nhìn
Cách rẻ nhất và hiệu quả nhất, thường bị bỏ qua vì không hấp dẫn.
Ánh sáng đều và ổn định. Đèn khuếch tán từ nhiều hướng, tránh bóng đổ mạnh và điểm loá. Cải thiện này thường cho kết quả tốt hơn mọi thay đổi ở mô hình.
Che ánh sáng tự nhiên. Nắng qua cửa sổ đổi suốt ngày. Che lại cho điều kiện không đổi, và điều kiện không đổi là điều mô hình cần nhất.
Nền tương phản. Vật sáng trên nền tối hoặc ngược lại. Làm bài toán phân vùng dễ hơn nhiều bậc.
Tránh bề mặt phản chiếu. Mặt bàn inox bóng gây loá và phản chiếu ảo. Dán lớp nhám lên là xong.
Cố định camera chắc chắn. Giá đỡ rung là nguyên nhân của cả ảnh nhoè lẫn hiệu chỉnh trôi.
Lịch lau ống kính. Tầm thường tới mức hay quên. Nên có kiểm tra tự động độ nét ảnh để cảnh báo.
Nguyên tắc chung: mỗi giờ bỏ ra cải thiện điều kiện vật lý thường đáng giá hơn mười giờ chỉnh mô hình. Đây là kinh nghiệm được lặp lại ở hầu hết dự án.
Giám sát khi đã vận hành
Để phát hiện suy giảm trước khi nó thành sự cố.
Theo dõi tỷ lệ thành công theo ngày. Xu hướng giảm dần là tín hiệu sớm nhất và rõ nhất. Không theo dõi thì chỉ biết khi đã hỏng hẳn.
Theo dõi độ tin cậy trung bình của mô hình. Giảm dần nghĩa là điều kiện đã trôi khỏi lúc huấn luyện.
Theo dõi số lần phải thử lại. Tăng lên trước khi tỷ lệ thất bại tăng, nên là chỉ báo sớm tốt.
Lưu ảnh của mọi lần thất bại. Không có ảnh thì không chẩn đoán được. Dung lượng rẻ hơn thời gian điều tra rất nhiều.
Kiểm định kỳ bằng bộ mẫu cố định. Giữ một bộ vật thể chuẩn, mỗi tuần chạy thử cùng một kịch bản. Loại được biến thiên do công việc thay đổi và cho phép so sánh theo thời gian.
Cảnh báo tự động. Đặt ngưỡng, gửi thông báo khi vượt. Chờ người vận hành báo cáo thì thường đã muộn vài tuần.
Và điều quan trọng nhất: có người thật sự xem các chỉ số đó. Bảng theo dõi không ai nhìn thì cũng bằng không có.
Câu hỏi thường gặp
Vì sao mô hình đạt điểm cao mà robot vẫn nhặt trượt?
Vì tập kiểm thử không giống điều kiện thật, chỉ số trung bình che sự cố tập trung, và sai số cộng dồn qua các khâu thị giác, hiệu chỉnh, cơ cấu kẹp.
Nguồn lỗi bị đánh giá thấp nhất là gì?
Hiệu chỉnh tay và mắt. Nó trôi do rung động, va chạm và thay đổi nhiệt độ. Triệu chứng đặc trưng là robot luôn với lệch cùng một hướng và cùng một khoảng.
Cách cải thiện rẻ nhất và hiệu quả nhất?
Cải thiện điều kiện nhìn — ánh sáng đều và ổn định, che nắng tự nhiên, nền tương phản, tránh bề mặt phản chiếu, cố định camera chắc chắn và lau ống kính theo lịch.
Nên giám sát chỉ số nào khi đã vận hành?
Tỷ lệ thành công theo ngày, độ tin cậy trung bình của mô hình và số lần phải thử lại. Kèm lưu ảnh mọi lần thất bại và kiểm định kỳ bằng một bộ mẫu cố định.
Đọc thêm trong Benchmark & tập dữ liệu và Điều khiển & lý thuyết.