Đo lệnh nói bị nhận nhầm hoặc bỏ sót ra sao?

• Âm thanh trong tập thử
• Các kết quả được đối chiếu
• Chỉ số tổng hợp, không có số liệu minh họa

Tạo bộ tham chiếu trước khi chạy

Viết trước danh sách câu mà người thử sẽ nói và gán nhãn đáp án mong đợi: transcript tham chiếu, ý định, các tham số bắt buộc, hoặc “không có lệnh hợp lệ”. Thu âm theo tình huống dự định như người nói khác nhau, tiếng ồn và cách phát âm. Chạy hệ thống trên đúng các bản ghi ấy và lưu văn bản nhận dạng, ý định sau phân tích, tham số và quyết định cuối. Không sửa câu tham chiếu sau khi đã xem lỗi của hệ thống.

Tính lỗi ở mức từ

Đối với transcript, căn chỉnh văn bản nhận dạng với văn bản tham chiếu theo cách tạo số thay thế (S), bỏ sót (D) và chèn thêm (I) nhỏ nhất. WER = (S + D + I) / N, trong đó N là số từ trong tham chiếu. Phần trăm WER bằng WER nhân với một trăm. Thay thế là một từ bị đổi thành từ khác; bỏ sót là từ tham chiếu không có trong đầu ra; chèn thêm là từ đầu ra không được nói. WER có thể vượt một nếu số từ chèn lớn, nên không phải xác suất bị chặn ở một.

Ví dụ giả định: một bộ gồm mười từ tham chiếu có một lỗi thay thế, một lỗi bỏ sót và một lỗi chèn thêm. Khi đó WER = (1 + 1 + 1) / 10 = 0,3, tức ba mươi phần trăm theo đơn vị từ. Mẫu số là số từ tham chiếu, không phải số câu hay số từ đầu ra. Với tiếng Việt, cần nêu cách tách từ vì khoảng trắng không luôn tương ứng với một đơn vị từ vựng như tiếng Anh.

Tính lỗi ở mức lệnh

Với lệnh drone, lập ma trận theo từng lượt nói: đúng lệnh, nhầm sang lệnh khác, thiếu tham số, từ chối, hoặc không phản hồi. Chọn trước quy tắc thành công: chẳng hạn lệnh chỉ đúng khi cả ý định lẫn mọi tham số cần thiết khớp. Sau đó báo tỷ lệ từng loại chia cho tổng số lượt hợp lệ đã thử. Đừng trộn số này với WER: một transcript có một từ sai có thể vẫn giữ đúng lệnh; một câu ngắn cũng có thể bị biến thành hành động hoàn toàn khác.

Ví dụ giả định với mười lượt: bảy lượt đúng, một lượt thành lệnh khác, một lượt bị từ chối, và một lượt không phản hồi. Tỷ lệ đúng lệnh là 7/10; nhầm lệnh là 1/10; từ chối là 1/10; không phản hồi là 1/10. Từ chối không nhất thiết là lỗi nguy hiểm: nó có thể là phản ứng đúng khi hệ thống không chắc. Báo riêng cả tỷ lệ từ chối lẫn tỷ lệ nhầm để thấy đánh đổi giữa bỏ qua yêu cầu và hành động sai.

Ranh giới quan sát và cách đọc

Ghi điểm bắt đầu là lúc người thử bắt đầu câu hay lúc âm thanh đến micro; ghi điểm kết thúc là transcript, ý định hay quyết định cuối đã sẵn sàng. Nêu rõ mỗi chỉ số có mẫu số là từ tham chiếu, câu nói hay lượt lệnh. Giữ nguyên bộ câu, điều kiện nhiễu, phiên bản mô hình, ngưỡng từ chối và cách chuẩn hóa văn bản khi so sánh. Tài liệu AWS nhấn mạnh chọn cách đánh giá theo trường hợp sử dụng, chuẩn hóa transcript nhất quán và lấy mẫu lời nói phù hợp; một điểm tổng hợp không thay thế phân tích lỗi cụ thể.

Tóm tắt

• WER tính lỗi thay thế, bỏ sót, chèn thêm trên số từ tham chiếu.
• Tỷ lệ lệnh dùng số lượt thử làm mẫu số và cần định nghĩa thế nào là lệnh đúng.
• Từ chối, im lặng và nhầm lệnh là kết quả riêng; báo riêng để hiểu rủi ro và khả năng dùng được.