Drone dùng thị giác máy tính để làm những việc gì?

• Camera ghi ảnh
• Bộ xử lý thị giác
• Khung ảnh có vùng quan tâm

Bốn công việc, bốn kiểu kết quả

Trong một khung hình, phát hiện vật thể tìm những vật thuộc các lớp mô hình biết và trả về nhãn cùng vùng ảnh bao quanh mỗi vật. Tài liệu ML Kit mô tả đầu ra là vật và vị trí trong ảnh. Ví dụ, ảnh có thể cho biết “xe đạp” ở một hình chữ nhật trên ảnh; hình chữ nhật ấy chưa nói xe đạp ở tọa độ nào ngoài đời.

Theo dõi nhận các khung liên tiếp và cố nối một vật đã thấy với vị trí mới của nó. Đầu ra có thể là cùng một mã theo dõi và vị trí thay đổi theo thời gian. Nó hữu ích khi muốn biết một vật đang đi qua ảnh theo hướng nào; nếu vật bị che hoặc hai vật giống nhau giao nhau, hệ thống có thể nối nhầm hoặc mất mã.

Phân vùng ảnh gán nhãn cho từng điểm ảnh hoặc vùng nhỏ, tạo mặt nạ hình dạng thay vì một khung chữ nhật rộng. Điều đó có thể phân biệt hình dạng vật với nền sát cạnh, nhưng cần mô hình phù hợp với các lớp muốn phân biệt. Đây là một loại đầu ra khác với hộp phát hiện.

Ước lượng chuyển động hoặc vị trí dùng thay đổi giữa các ảnh để suy ra hướng dịch chuyển; muốn có vị trí trong không gian, hệ thống còn cần quy chiếu phù hợp như hiệu chuẩn camera và thông tin độ sâu hoặc trạng thái phương tiện. Một điểm ảnh ở giữa ảnh không tự nói vật cách camera bao xa. Vì vậy “nhìn thấy vật” và “biết vật ở đâu trong không gian” là hai mức kết quả.

Tài liệu Image Segmenter phân biệt mặt nạ lớp và mặt nạ độ tin cậy ở từng pixel. Luồng quang học trong OpenCV mô tả chuyển động biểu kiến do vật hoặc camera chuyển động; nó chưa tự xác định vị trí tuyệt đối. Mô hình camera của OpenCV giải thích bước chiếu từ không gian lên ảnh. Vì vậy, đọc được tọa độ pixel và biết vị trí ngoài đời là hai yêu cầu khác nhau.

Theo một ảnh từ camera đến ứng dụng

Giả sử một camera gửi ảnh chụp bãi đỗ. Bộ phát hiện nhận ảnh, trả nhãn “ô tô” cùng một vùng chữ nhật. Bộ theo dõi có thể nối vùng đó qua ảnh kế tiếp và cập nhật vị trí trong khung. Một mô-đun khác có thể tô mặt nạ thân xe hoặc so sánh vùng ảnh để quan sát thay đổi. Cuối cùng, ứng dụng hiển thị kết quả cho người xem. Mỗi bước biến đổi dữ liệu; không bước nào tự động biến nhãn ảnh thành lệnh cho bộ điều khiển bay.

Tính toán nằm ở đâu?

Tài liệu kiến trúc PX4 mô tả bộ điều khiển bay chạy flight stack thông thường, còn máy tính đồng hành có thể cung cấp tính năng nâng cao dùng thị giác máy tính. Đây là phân chia trách nhiệm: máy tính phụ xử lý ảnh và gửi thông tin qua giao diện đã tích hợp; flight stack quản lý điều khiển phương tiện. Cách lắp đặt và giao diện cụ thể tùy hệ thống, không phải mọi drone đều có cùng phần cứng.

Chọn đầu ra theo câu hỏi

Nếu câu hỏi là “có loại vật nào trong ảnh?”, nhãn và khung phát hiện có thể hữu ích. Nếu cần biết “vật đã đi đâu qua video?”, cần liên kết theo thời gian. Nếu ranh giới hình dạng quan trọng, mặt nạ phân vùng phù hợp hơn. Nếu cần vị trí ngoài đời, phải tính thêm hình học và dữ liệu cảm biến. Chọn sai đầu ra khiến ứng dụng đòi mô hình trả lời câu hỏi mà dữ liệu nó tạo ra không thể đáp ứng.

Việc đối chiếu các loại đầu ra ở đây chưa phải phép đo chất lượng trên cùng một bộ ảnh drone. Ánh sáng, rung, góc nhìn, độ phân giải và vật bị che đều cần được kiểm tra trên dữ liệu dự định sử dụng. Một kết quả thị giác cũng cần được xem là quan sát có độ không chắc chắn, không phải sự thật hoàn hảo.

Tóm tắt

• Phát hiện tìm vật; theo dõi nối vật qua thời gian; phân vùng phác ranh giới; ước lượng chuyển động/không gian cần dữ liệu quy chiếu phù hợp.
• Camera tạo ảnh, phần mềm tạo kết quả, ứng dụng quyết định cách dùng chúng.
• Máy tính đồng hành có thể xử lý thị giác; flight stack vẫn đảm nhiệm điều khiển phương tiện.