Phân vùng cho biết trong khung hình này có gì. Nhưng robot làm việc trong thế giới đang chuyển động cần thêm một tầng nữa: cái vật này ở khung trước có phải cùng một vật không, và mấy giây tới nó sẽ ở đâu.
Vì sao cần theo dõi
Phát hiện độc lập từng khung không ổn định. Mô hình nhận ra vật ở khung này, bỏ sót ở khung sau vì ánh sáng đổi hoặc bị che nhẹ. Robot thấy vật xuất hiện rồi biến mất liên tục.
Cần biết đó vẫn là cùng một vật. Ba người trong khung hình — người nào là người vừa đi từ bên trái sang. Không có liên kết theo thời gian thì không trả lời được.
Cần vận tốc để dự đoán. Robot phải biết người này đang đi về phía nó hay đi ra xa. Vị trí ở một khung không cho biết điều đó.
Cần lọc nhiễu. Vị trí ước lượng ở mỗi khung có sai số. Kết hợp nhiều khung theo thời gian cho ước lượng ổn định hơn nhiều.
Cần duy trì qua che khuất. Người đi sau cột trong hai giây rồi ra. Robot phải hiểu đó vẫn là người đó chứ không phải người mới xuất hiện.
Cơ chế theo dõi cơ bản
Cấu trúc chuẩn — phát hiện rồi liên kết. Mỗi khung chạy bộ phát hiện, rồi ghép kết quả mới với các vệt đang theo dõi.
Ghép theo khoảng cách. Vật gần vị trí dự đoán nhất thì ghép vào vệt đó. Đơn giản, hiệu quả khi vật thưa và chuyển động chậm.
Ghép theo diện mạo. So đặc trưng hình ảnh của vật thay vì chỉ vị trí. Cần khi có nhiều vật giống nhau đi cắt nhau.
Dự đoán vị trí bằng bộ lọc. Giả định chuyển động đều rồi cập nhật theo quan sát. Cho ước lượng mượt và điền được khoảng trống khi mất phát hiện vài khung.
Quản lý vòng đời vệt. Khi nào tạo vệt mới, khi nào xoá vệt đã mất dấu quá lâu. Đặt ngưỡng quá ngắn thì vệt đứt liên tục; quá dài thì vệt ma tồn tại sau khi vật đã đi khỏi.
Chỗ hay sai nhất. Hai vật đi cắt nhau rồi tách ra — hệ thống dễ hoán đổi nhãn. Với robot thì lỗi này ít nghiêm trọng, nhưng với hệ thống đếm hoặc phân tích hành vi thì nó phá kết quả.
Dự đoán chuyển động của người
Ứng dụng quan trọng nhất trong robot dịch vụ.
Vì sao cần. Robot lập kế hoạch cho vài giây tới. Nếu chỉ biết người đang ở đâu lúc này, kế hoạch đã lỗi thời khi thực hiện.
Cách đơn giản nhất. Giả định người tiếp tục đi thẳng với vận tốc hiện tại. Đúng phần lớn thời gian trong thời gian ngắn, sai khi người rẽ hoặc dừng.
Cách dùng ngữ cảnh. Người đi theo lối đi, tránh vật cản, hướng về cửa và lối ra. Dự đoán có tính tới bản đồ chính xác hơn nhiều.
Cách học từ dữ liệu. Huấn luyện mô hình trên quỹ đạo người thật thu ở chính nơi triển khai. Học được thói quen đi lại đặc thù của không gian đó.
Dự đoán nhiều khả năng. Người tới ngã ba có thể rẽ trái hoặc phải. Mô hình tốt cho ra vài khả năng kèm xác suất thay vì một dự đoán duy nhất.
Lưu ý quan trọng về an toàn. Không bao giờ dựa vào dự đoán để quyết định an toàn. Dự đoán dùng để đi mượt hơn; an toàn phải dựa trên quan sát hiện tại và giới hạn cứng. Trộn lẫn hai việc này là sai lầm nguy hiểm.
Theo dõi vật robot đang thao tác
Bài toán khác với theo dõi người, yêu cầu khác hẳn.
Độ chính xác cao hơn nhiều. Theo dõi người chỉ cần chính xác vài chục centimet. Theo dõi vật đang cầm cần chính xác vài milimet.
Tay robot che vật. Đúng lúc cần biết vị trí vật nhất thì tay che mất. Phải suy từ vị trí tay và giả định vật không trượt.
Phát hiện trượt. Vật xê dịch trong kẹp là chuyện thường. Nếu robot không nhận ra, mọi tính toán tiếp theo dựa trên vị trí sai. Kết hợp thị giác với cảm biến lực giải quyết tốt hơn chỉ dùng thị giác.
Theo dõi khi vật rời tay. Đặt xuống mà lệch, hoặc rơi. Robot cần biết để xử lý.
Camera gắn trên tay. Giải pháp phổ biến — camera đi theo tay nên luôn nhìn gần vật, độ phân giải trên vật cao hơn nhiều. Đổi lại là rung, mờ và tầm nhìn hẹp.
Cách kết hợp thường dùng. Camera cố định nhìn toàn cảnh để định vị thô, camera trên tay để căn chính xác ở giai đoạn cuối. Bắt chước đúng cách người dùng thị giác ngoại vi rồi nhìn gần.
Hiểu chuyển động ở mức thấp
Tầng dưới của theo dõi vật thể, hữu ích cả khi không nhận ra vật gì.
Dòng quang học. Ước lượng mỗi điểm ảnh dịch chuyển thế nào giữa hai khung. Không cần biết đó là vật gì.
Dùng để làm gì. Phát hiện có gì đó đang chuyển động. Ước lượng chuyển động của chính robot. Tách vật động khỏi nền tĩnh khi định vị.
Ưu điểm. Hoạt động với mọi vật, kể cả vật chưa từng gặp và vật không có tên.
Nhược điểm. Không phân biệt được vật chuyển động với camera chuyển động. Robot đang đi thì mọi thứ đều dịch chuyển trong ảnh. Phải bù chuyển động của chính mình trước, và bước này cần biết robot đang đi thế nào.
Vùng không có hoa văn thì không ước lượng được. Tường trắng dịch chuyển trong ảnh mà không có gì để đo. Đây là giới hạn cơ bản, không phải vấn đề thuật toán.
Ứng dụng thực dụng nhất. Phát hiện có chuyển động bất ngờ trong tầm nhìn để robot giảm tốc. Nhanh, nhẹ, không cần nhận dạng, và là lớp an toàn bổ sung tốt bên cạnh cảm biến khoảng cách.
Câu hỏi thường gặp
Vì sao phát hiện độc lập từng khung là chưa đủ?
Vì kết quả không ổn định, không biết vật ở khung này có phải vật ở khung trước không, không có vận tốc để dự đoán, và không duy trì được qua che khuất.
Có nên dựa vào dự đoán chuyển động người để quyết định an toàn?
Không bao giờ. Dự đoán dùng để robot đi mượt hơn; an toàn phải dựa trên quan sát hiện tại và giới hạn cứng. Trộn lẫn hai việc này là sai lầm nguy hiểm.
Vì sao dùng camera gắn trên tay robot?
Vì nó đi theo tay nên luôn nhìn gần vật và có độ phân giải cao trên vật. Cách phổ biến là camera cố định định vị thô, camera trên tay căn chính xác giai đoạn cuối.
Dòng quang học hữu ích ở chỗ nào?
Nó phát hiện chuyển động mà không cần nhận ra vật gì, nên nhẹ và hoạt động với mọi vật. Ứng dụng thực dụng nhất là phát hiện chuyển động bất ngờ để robot giảm tốc.
Đọc thêm trong SLAM & định vị và Từ lab ra thực tế.
