Visual servoing dùng ảnh để điều khiển drone ra sao?

• Ảnh camera phản hồi
• Sai lệch hình ảnh cần giảm
• Drone nhận điều chỉnh

Bạn sẽ học được gì

• Theo dõi chu trình ảnh, sai lệch đặc trưng và vận tốc drone.
• Hiểu interaction matrix biến chuyển động ảnh thành chuyển động camera.
• So sánh điều khiển trong ảnh với cách điều khiển dựa trên vị trí ước lượng.

Cần biết trước

Nên hiểu rằng ảnh là phép chiếu hai chiều của cảnh; cùng một điểm ảnh có thể ứng với nhiều vị trí trong không gian nếu thiếu thông tin chiều sâu.

Visual servoing khép vòng điều khiển bằng ảnh ra sao?

Mỗi khung camera được xử lý để tìm một hay nhiều đặc trưng, chẳng hạn tâm của vùng đáp mục tiêu. Bộ điều khiển có đặc trưng mong muốn, lấy sai lệch giữa vị trí hiện tại và mục tiêu, rồi tính lệnh camera để làm sai lệch giảm. Sau khi drone chuyển động, ảnh mới tạo đặc trưng mới và vòng lặp được tính lại. Ảnh vừa là phép đo trạng thái nhiệm vụ, vừa là phản hồi của hành động trước.

Một bộ nhận diện chỉ trả lời “đối tượng xuất hiện ở đâu trong ảnh”. Visual servoing cần thêm bước dùng thông tin đó để quyết định vận tốc. Nếu bộ phát hiện gửi hộp bao nhưng bộ điều khiển kỳ vọng tâm và kích thước, hai phần không thể ghép đúng dù cùng nói về một mục tiêu. Định nghĩa đặc trưng, hệ tọa độ ảnh và dấu thời gian là một phần của giao diện điều khiển.

Interaction matrix nối sai lệch ảnh với vận tốc thế nào?

Interaction matrix, còn gọi image Jacobian, mô tả gần đúng đặc trưng ảnh thay đổi thế nào khi camera chuyển động. Đặt vectơ đặc trưng hiện tại là s, mục tiêu là s*, và sai lệch là e = s - s*. Trong vùng mà mô hình hợp lý, ma trận liên hệ tốc độ thay đổi đặc trưng s_dot với vận tốc camera v. Một luật phản hồi chọn v theo hướng làm e co lại; ma trận giả nghịch đảo có thể chuyển tốc độ đặc trưng mong muốn thành vận tốc camera.

Đây không phải phép đổi pixel sang mét dùng được mọi nơi. Ma trận phụ thuộc cách chọn đặc trưng, hình học camera, chiều sâu hoặc giả định về chiều sâu, và trạng thái tương đối mục tiêu–camera. Khi một hướng chuyển động camera gần như không làm đặc trưng đổi theo cách phân biệt được, bài toán kém điều kiện: vận tốc tính ra có thể rất lớn hoặc không ổn định. Bộ điều khiển thực tế cần giới hạn vận tốc và kiểm tra hạng, nhiễu cùng độ tin cậy trước khi phát lệnh.

Trong nghiên cứu hạ cánh lên xe đang chuyển động, tác giả dùng đặc trưng ảnh và ma trận tương tác để tính vận tốc quadcopter rồi gửi nó tới bộ điều khiển mức thấp. Nghiên cứu chọn ma trận hằng tính tại mục tiêu nhằm giảm phụ thuộc vào sai số ước lượng vị trí UAV, nhưng vẫn cần cấu hình camera và thông tin chiều sâu tại mục tiêu. Đây là lựa chọn của phương pháp trong bài nghiên cứu, không phải quy tắc chung cho mọi visual servoing.

Visual servoing ảnh khác điều khiển tọa độ thế giới ra sao?

So sánh này nói về biến phản hồi chính, không có nghĩa một cách luôn tốt hơn. Nếu nhiệm vụ là giữ mục tiêu ở một vùng ảnh, ảnh trực tiếp có thể đủ; nếu cần bay tới điểm có khoảng cách xác định hoặc tránh chướng ngại trong không gian, chỉ tâm ảnh thường không đủ. Có thể kết hợp hai cách: ảnh điều chỉnh căn chỉnh cục bộ, còn ước lượng vị trí và planner đặt giới hạn không gian.

Một lần cập nhật chuyển thành lệnh bay thế nào?

Thiết kế minh họa được đề xuất; chưa phải kết quả thử nghiệm. Trong mô phỏng, camera nhìn một dấu mục tiêu. Bộ tracking xuất tọa độ đặc trưng cùng thời điểm chụp; nút servoing tính e, dùng interaction matrix để ra vận tốc mong muốn trong hệ camera, rồi ma trận đổi hệ quy chiếu chuyển vận tốc sang hệ thân drone. Adapter gửi setpoint vận tốc tới flight stack. Sau khi phương tiện ảo di chuyển, bộ xử lý lấy khung kế và tính lại.

Tiêu chí thành công là sai lệch ảnh giảm ổn định trong khi vận tốc vẫn nằm trong giới hạn mô hình, dữ liệu có thời gian hợp lệ và mục tiêu còn được nhận dạng. Tình huống lỗi gồm mất tracking, đặc trưng nhảy sang vật khác, khung hình cũ tới sau khung mới, camera rung hoặc không biết độ sâu cần cho mô hình. Khi phát hiện sai thời gian hoặc độ tin cậy thấp, node phải ngừng cập nhật lệnh tiến gần và báo lỗi cho tầng điều phối; một lệnh dừng hay hủy vẫn cần được xử lý theo giao diện của flight stack.

Điều gì gây mất ổn định hoặc mất mục tiêu?

Nếu tracking mất mục tiêu, sai lệch ảnh không còn đại diện cho mục tiêu ban đầu. Độ trễ khiến lệnh được tính từ ảnh cũ; drone có thể tiếp tục tiến trong lúc mục tiêu đã dịch khỏi vị trí. Rung làm vị trí đặc trưng dao động, còn ánh sáng hay che khuất có thể làm bộ nhận diện đổi đối tượng. Hệ thống cũng có thể bão hòa: vận tốc yêu cầu vượt giới hạn hoặc ma trận không cung cấp đủ thông tin để giải. Không nên tiếp tục dùng giá trị ảnh cuối như thể đó là quan sát hiện tại.

Hiểu lầm thường gặp

Điều khiển trong ảnh có nghĩa là không cần mô hình nào. Vẫn cần quan hệ giữa chuyển động camera và đặc trưng ảnh, cùng hiệu chuẩn và giả định về chiều sâu. Đưa mục tiêu vào giữa ảnh luôn đưa drone tới đúng khoảng cách. Tâm ảnh chỉ mô tả hướng; khoảng cách và chiều sâu cần thêm thông tin.

Câu hỏi thường gặp

Interaction matrix có phải mạng nơ-ron không?

Không. Đó là ma trận mô hình hóa độ nhạy của đặc trưng ảnh theo vận tốc camera; nó có thể được suy ra từ hình học hoặc ước lượng.

Có thể điều khiển chỉ từ tâm mục tiêu trong ảnh không?

Có thể cho căn chỉnh hướng đơn giản, nhưng tâm ảnh riêng lẻ thường không cho biết khoảng cách, chiều sâu hay vật cản trên đường.

Vì sao phải dùng khung ảnh mới sau mỗi lệnh?

Vì chuyển động thực, nhiễu và độ trễ làm dự đoán trước đó sai dần; phản hồi mới cho phép tính lại sai lệch.

Khi tracking mất thì nên tiếp tục lệnh trước?

Không nên coi đặc trưng cũ là vị trí hiện tại. Hệ thống cần đánh dấu dữ liệu không hợp lệ và chuyển quyền xử lý lỗi cho tầng điều phối.

Tóm tắt

Visual servoing lặp việc phát hiện đặc trưng, tính sai lệch ảnh, ánh xạ sai lệch sang vận tốc camera/drone và đo lại. Interaction matrix là mắt xích của phép ánh xạ; tracking, chiều sâu, hiệu chuẩn, trễ và hệ tọa độ quyết định chất lượng của nó. Điều khiển ảnh và tọa độ thế giới dùng tiêu chí phản hồi khác nhau, nên thích hợp với những mục tiêu khác nhau.