Ai cũng biết cần chạy thí điểm trước khi nhân rộng. Ít người thiết kế thí điểm cho đúng mục đích của nó, và mục đích đó không phải là chứng minh hệ thống hoạt động.
Mục đích thật của thí điểm
Không phải để chứng minh thành công. Đây là hiểu lầm phổ biến nhất và nó dẫn tới thí điểm được thiết kế để đẹp thay vì để học.
Mà để phát hiện những gì mình chưa biết. Điều kiện thực tế nào chưa lường. Người dùng làm gì bất ngờ. Hệ thống hỏng theo cách nào.
Hệ quả với thiết kế thí điểm. Chọn nơi có điều kiện thật, không phải nơi dễ nhất. Chạy đủ lâu để gặp trường hợp hiếm. Ghi lại mọi thứ, đặc biệt là thất bại.
Kỳ vọng nên đặt thế nào. Nói rõ với đối tác rằng đây là giai đoạn học, sẽ có trục trặc, và giá trị của họ là phản hồi chứ không chỉ là chỗ đặt máy.
Thước đo thành công của thí điểm. Không phải tỷ lệ hoạt động mà là số lượng và chất lượng những gì học được. Thí điểm phát hiện ra mười vấn đề nghiêm trọng là thí điểm thành công.
Sai lầm hay gặp. Coi thí điểm là buổi trình diễn cho lãnh đạo. Khi đó mọi người sẽ giấu vấn đề, và mục đích của thí điểm bị vô hiệu.
Chọn nơi thí điểm
Quyết định ảnh hưởng lớn tới giá trị thu được.
Đủ điển hình. Nếu nơi thí điểm quá đặc biệt thì bài học không chuyển sang nơi khác được.
Nhưng có đối tác hợp tác. Cần người sẵn sàng chịu bất tiện, cho tiếp cận, và nói thật về vấn đề. Yếu tố này quan trọng hơn quy mô.
Có người liên hệ thật sự có thời gian. Đã nói ở nơi khác và đáng nhắc lại vì nó là nguyên nhân thất bại phổ biến.
Chi phí sai lầm chấp nhận được. Đừng chọn khâu quan trọng nhất của đối tác cho lần triển khai đầu.
Gần về địa lý. Sẽ phải tới nhiều lần hơn dự kiến. Nơi xa làm mọi vòng lặp sửa chữa chậm lại.
Có sẵn số liệu nền. Đối tác đã đo thời gian và tỷ lệ lỗi của cách làm hiện tại thì so sánh được. Nếu chưa, phải đo trước khi lắp đặt.
Chạy thí điểm
Thực hành cụ thể trong giai đoạn chạy.
Có mặt nhiều trong tuần đầu. Phần lớn phát hiện quan trọng đến từ những ngày đầu. Không có mặt thì mất chúng.
Quan sát nhiều hơn hỏi. Người dùng nói họ làm gì và thực tế họ làm gì thường khác nhau, không phải vì họ giấu mà vì thói quen thì khó tự nhận ra.
Đừng sửa ngay mọi thứ. Sửa nhanh quá thì mất cơ hội thấy vấn đề diễn ra đầy đủ. Ghi lại, để một thời gian, xem nó thật sự nghiêm trọng tới đâu.
Chạy qua đủ chu kỳ. Ca ngày và ca đêm. Ngày bận và ngày vắng. Đầu tuần và cuối tuần. Mỗi chu kỳ bộc lộ vấn đề khác nhau.
Để người dùng tự dùng. Sau tuần đầu, rút ra và xem hệ thống sống thế nào khi không có người xây bên cạnh. Đây là bài kiểm tra thật.
Họp phản hồi định kỳ. Hàng tuần, ngắn, với người thật sự dùng chứ không chỉ với quản lý. Hỏi cái gì phiền nhất tuần này.
Đo và ghi nhận
Số lần can thiệp của người. Chỉ số quan trọng nhất. Mỗi lần ghi rõ vì sao và mất bao lâu.
Thời gian hoạt động thực. Bao nhiêu phần trăm thời gian hệ thống thật sự làm việc.
Phân loại nguyên nhân dừng. Lỗi phần mềm, lỗi phần cứng, môi trường thay đổi, người dùng thao tác sai, chờ vật tư. Phân bố này chỉ ra nên sửa gì.
So với số liệu nền. Cách làm cũ mất bao lâu, tỷ lệ lỗi bao nhiêu. Không có so sánh thì không kết luận được gì.
Ghi lại phản hồi định tính. Câu nói của người dùng, kể cả câu phàn nàn. Thường chứa thông tin mà số liệu không có.
Ghi lại những gì mình đã sai. Giả định nào hoá ra sai, ước tính nào lệch. Đây là phần giá trị nhất và dễ bị bỏ qua nhất, vì không ai thích viết ra.
Tổng kết bằng văn bản. Báo cáo thí điểm trung thực là tài sản cho mọi triển khai sau.
Quyết định sau thí điểm
Ba kết luận có thể, và cả ba đều hợp lệ.
Nhân rộng. Khi hệ thống đạt mục tiêu, vấn đề phát hiện được đều sửa được, và đối tác muốn tiếp tục. Nhưng sửa xong rồi mới nhân rộng, đừng nhân rộng song song với sửa.
Lặp lại thí điểm. Khi phát hiện vấn đề cơ bản cần thay đổi lớn. Chạy thí điểm lần hai sau khi sửa tốt hơn là nhân rộng một hệ thống chưa ổn.
Dừng. Khi giá trị mang lại không bù chi phí, hoặc bài toán hoá ra khác với hiểu ban đầu. Đây là kết luận có giá trị và nên được đưa ra dứt khoát.
Dấu hiệu nên dừng. Số lần can thiệp không giảm sau khi đã sửa nhiều vòng. Người dùng tìm cách né hệ thống. Chi phí duy trì vượt tiết kiệm mang lại.
Đừng để chi phí đã bỏ ra chi phối quyết định. Tiền và thời gian đã tiêu không lấy lại được dù có tiếp tục hay không. Câu hỏi đúng là từ giờ trở đi thì cái gì đáng làm.
Và dù kết luận nào, hãy viết lại đầy đủ. Ngành này thiếu tài liệu về thất bại nghiêm trọng, và một báo cáo trung thực về thí điểm không thành công có giá trị hơn nhiều bài báo về kết quả tốt trong lab.
Câu hỏi thường gặp
Mục đích thật của triển khai thí điểm là gì?
Phát hiện những gì mình chưa biết, không phải chứng minh hệ thống hoạt động. Thí điểm phát hiện ra mười vấn đề nghiêm trọng là thí điểm thành công.
Yếu tố nào quan trọng nhất khi chọn nơi thí điểm?
Có đối tác sẵn sàng chịu bất tiện, cho tiếp cận và nói thật về vấn đề — quan trọng hơn quy mô. Kèm người liên hệ thật sự có thời gian.
Vì sao không nên sửa ngay mọi vấn đề phát hiện được?
Vì sửa quá nhanh thì mất cơ hội thấy vấn đề diễn ra đầy đủ. Ghi lại, để một thời gian, rồi đánh giá nó thật sự nghiêm trọng tới đâu.
Khi nào nên dừng thay vì nhân rộng?
Khi số lần can thiệp không giảm sau nhiều vòng sửa, người dùng tìm cách né hệ thống, hoặc chi phí duy trì vượt tiết kiệm mang lại. Đừng để chi phí đã bỏ ra chi phối quyết định.
Đọc thêm trong Học tăng cường cho robot và Phòng lab & nhóm nghiên cứu.
