Theo dõi giữ mục tiêu qua các khung hình ra sao?

• Vật thể ở khung đầu, trái
• Vật thể ở khung giữa
• Vật thể ở khung sau, phải

Từ khung hình đầu đến lần ghép tiếp theo

Ở khung đầu, detector trả về một hộp giới hạn (bounding box, hình chữ nhật quanh vật) và lớp hoặc đặc trưng của vật. Tracker lưu vùng đó làm mục tiêu ban đầu. Khi khung kế tiếp đến, nó không biết trước vật chắc chắn ở đâu; nó ước tính vùng tìm kiếm gần vị trí cũ, rồi tìm quan sát mới phù hợp. Tùy thiết kế, “phù hợp” có thể dựa trên khoảng cách giữa hộp, độ tương đồng màu/ngoại hình hoặc chuyển động ước tính. Đây là mô tả các cách ghép thường dùng trong một thiết kế minh họa, không phải lời khẳng định mọi thư viện dùng cùng một thuật toán.

Ví dụ, hộp đỏ quanh xe ở khung đầu nằm gần phía trái. Ở khung kế, tracker tìm hộp ứng viên gần vị trí dự đoán và có vẻ ngoài tương tự; nếu ghép được, nó giữ cùng mã và cập nhật vị trí. Ở khung sau nữa, vị trí mới lại trở thành cơ sở dự đoán. Mã mục tiêu giúp ứng dụng biết đây là chuỗi quan sát của cùng một track, không phải một vật mới được đặt tên tùy ý ở mỗi ảnh.

Vì sao phép ghép có thể sai?

Tracker đáng tin hơn khi ảnh liên tiếp có đủ chi tiết, mục tiêu không nhảy xa giữa hai khung, và các vật lân cận có vẻ ngoài khác nhau. Chuyển động nhanh hoặc khung hình thưa làm vị trí dự đoán lệch xa; rung và chuyển động camera làm nền đổi; ánh sáng đổi có thể làm màu hoặc đặc trưng kém giống. Khi hai vật giống nhau đi sát hoặc giao nhau, ứng viên có thể bị hoán đổi. Che khuất khiến tracker không có quan sát để so khớp.

Một độ tin cậy ghép thấp không nên bị biến thành sự chắc chắn chỉ vì phần mềm vẫn xuất ra mã. Ứng dụng có thể giữ trạng thái “chưa rõ”, không cập nhật mục tiêu, rồi chạy phát hiện lại để tìm ứng viên mới. ML Kit mô tả khả năng theo dõi đối tượng nổi bật qua các khung, còn thảo luận API tracking của OpenCV nêu vấn đề khởi tạo lại sau khi mất vật. Điều đó nhấn mạnh phục hồi là một phần riêng của hệ thống.

Mất dấu và khởi tạo lại

Giả sử một vật đi sau cột và biến mất khỏi ảnh. Tracker có thể tiếp tục dự đoán một lúc nhưng không có bằng chứng mới để xác nhận vị trí. Khi vật xuất hiện lại, hệ thống cần quyết định đó là track cũ hay mục tiêu khác. Một cách thiết kế thận trọng là đánh dấu track bị mất, yêu cầu detector tạo hộp mới, rồi nối lại chỉ khi tiêu chí về vị trí và ngoại hình đủ phù hợp. Nếu có nhiều ứng viên gần nhau, giữ trạng thái mơ hồ sẽ trung thực hơn việc nối đại một vật.

Đo tracking cũng cần nhãn tham chiếu xuyên suốt video: ngoài hộp đúng/sai, cần biết ID có bị đổi, mất hay gán nhầm khi vật giao nhau. Một detector có thể tìm đúng từng vật riêng lẻ mà tracker vẫn đổi ID; vì vậy chất lượng phát hiện từng khung không đủ để mô tả chất lượng theo dõi.

Tóm tắt

• Tracker dự đoán vùng tìm kiếm, ghép quan sát mới với mục tiêu cũ rồi cập nhật vị trí và mã.
• Vật giống nhau, chuyển động nhanh, rung, thay đổi hình ảnh và che khuất làm phép ghép dễ nhầm.
• Khi thiếu bằng chứng, đánh dấu mất hoặc mơ hồ và phát hiện lại an toàn hơn khẳng định một liên kết sai.