Ghép lệnh nói với hình ảnh camera để chọn mục tiêu ra sao?

• Lời nói, nhánh trên
• Cảnh camera, nhánh dưới
• Đối tượng được đối chiếu

Hai đầu vào gặp nhau ở bộ phân giải

Một thiết kế minh họa có thể đi theo chuỗi sau. Bộ nhận dạng âm thanh đưa ra câu chữ. Mô-đun hiểu ngôn ngữ rút ra ý định “tìm/hiển thị” và ràng buộc “xe màu đỏ”. Tài liệu Dialogflow gọi ý định là mục đích của một lượt hội thoại và cho phép trích tham số từ các phần của câu ví dụ. Ở phía hình ảnh, detector trả danh sách ứng viên với lớp, vùng ảnh và thông tin phân loại. ML Kit có thể theo dõi vật nổi bật qua các khung, nhưng chính ứng dụng phải định nghĩa cách dùng các kết quả đó để giải quyết câu nói.

Bộ phân giải so sánh ràng buộc lời nói với thuộc tính của từng ứng viên. “Xe” lọc theo lớp; “màu đỏ” là một đặc tính cần mô hình thị giác hoặc bộ phân loại màu cung cấp. Một điểm ảnh đỏ đơn lẻ không đủ chứng minh cả vật là xe đỏ: ánh sáng, bóng hoặc bề mặt phản chiếu có thể làm màu khó đánh giá. Quy tắc so khớp và ngưỡng chấp nhận là lựa chọn của ứng dụng minh họa, không phải chức năng mặc định của Dialogflow hay ML Kit.

Đi theo một câu nói

Giả sử khung hình có xe đỏ bên trái và xe xanh bên phải. Nhận dạng trả câu “chỉ cho tôi chiếc xe màu đỏ”; phân tích ý định tạo yêu cầu hiển thị với lớp car và thuộc tính red. Detector cung cấp hai ứng viên. Bộ phân giải loại xe xanh vì không khớp thuộc tính màu, giữ xe đỏ, rồi trả về mã track và hộp ảnh để giao diện đánh dấu. Kết quả là “ứng viên này khớp yêu cầu”, không phải vị trí ngoài đời hay lệnh điều khiển.

Nếu ảnh có hai xe đỏ, mô tả chưa chọn được duy nhất một vật. Hệ thống nên hỏi “xe bên trái hay bên phải?” hoặc trình bày hai ứng viên để người dùng chọn. Nếu không có xe nào hoặc detector không chắc, báo “không tìm thấy đủ chắc chắn” thay vì chọn vật gần đúng. Nếu dữ liệu ảnh và câu nói đến ở thời điểm khác nhau, cần kiểm tra dấu thời gian để tránh ghép lời nói với một cảnh đã cũ.

Đầu ra và trường hợp lỗi

Một bản ghi có thể giữ câu gốc, ý định/tham số đã trích, danh sách ứng viên, lý do chọn hoặc yêu cầu làm rõ và trạng thái cuối. Nhờ vậy người thử biết lỗi nằm ở nhận dạng câu, trích thuộc tính, phát hiện ảnh hay quy tắc ghép. Cần kiểm tra riêng các cặp khó phân biệt như nhiều vật cùng lớp, màu gần nhau, vật bị che và tên gọi không có trong lớp mô hình.

Kiến trúc này là đề xuất để minh họa cơ chế, chưa phải sản phẩm được nguồn thử nghiệm. Tài liệu Dialogflow và ML Kit mô tả năng lực của từng thành phần, không xác nhận độ chính xác khi kết hợp lời nói với camera. Phải đánh giá trên các câu và cảnh đại diện, có câu trả lời đúng được gán nhãn.

Tóm tắt

• Lời nói thành ý định và thuộc tính; ảnh thành ứng viên và đặc trưng; bộ phân giải ghép chúng theo quy tắc ứng dụng.
• Một ứng viên phù hợp thì trả kết quả có mã; nhiều ứng viên thì hỏi rõ; không có ứng viên đáng tin thì từ chối chọn.
• Nhận ra vật trong ảnh chưa cung cấp vị trí không gian hoặc quyết định bay.