Vì sao nhận lệnh giọng nói tiếng Việt khó?

• Thu lệnh tiếng Việt
• Các biến thể cách nói
• Đối chiếu kết quả nhận lệnh

Bạn sẽ học được gì

• Giải thích thanh điệu và cách phát âm vùng miền làm thay đổi dấu hiệu âm thanh của từ.
• So sánh một cặp lệnh gần âm và thấy vì sao câu ngắn có ít ngữ cảnh.
• Đo lỗi theo người nói và điều kiện thu thay vì chỉ dựa vào nhãn hỗ trợ ngôn ngữ.

Cần biết trước

Không cần biết ngôn ngữ học tiếng Việt; ví dụ dùng âm tiết quen thuộc và một bộ lệnh giả định.

Vì sao thanh điệu làm đổi từ mà bộ nhận dạng nghe thấy?

Tiếng Việt dùng thanh điệu từ vựng: chuyển động cao độ và chất giọng tham gia phân biệt từ trong một âm tiết. Một nghiên cứu ngữ âm mô tả thanh điệu tiếng Việt qua cao độ nền, chuyển động cao độ, chất giọng và thời lượng, đồng thời lưu ý mỗi dấu hiệu không đóng góp ngang nhau cho mọi thanh. So sánh chữ viết đơn giản là ma và má: chúng cùng phụ âm, nguyên âm nhưng khác dấu và mẫu cao độ khi nói. Nếu nhiễu hoặc bản ghi bị cắt làm mất một phần mẫu đó, bộ nhận dạng còn ít căn cứ hơn để quyết định từ nào đã được nói.

Lệnh ngắn thường có ít ngữ pháp xung quanh để bù cho âm tiết nghe sai. Trong câu dài, từ bên cạnh giúp thu hẹp cách hiểu; một lệnh một từ như “lên” có ít ngữ cảnh hơn. Bản chép sai vì vậy có thể dẫn tới intent sai hoặc thiếu tham số dù bộ nhận dạng trả về một điểm tin cậy có vẻ cao. Điểm tin cậy không thay thế việc kiểm tra từ nhận dạng so với bộ lệnh mong đợi.

Vì sao người nói và vùng miền làm đổi kết quả?

Cách phát âm không giống nhau ở mọi người. Cách thể hiện thanh điệu có thể thay đổi theo phương ngữ, giọng, tốc độ nói và ngữ cảnh âm tiết; các nghiên cứu âm học so sánh việc tạo và nhận biết thanh điệu tiếng Việt giữa các vùng. Mô hình thử với một người nói hoặc một vùng không nhất thiết đại diện các giọng sẽ dùng hệ thống. Khoảng cách thể hiện rõ hơn ở từ ngắn đứng riêng, khi có ít dấu hiệu xung quanh giúp bộ nhận dạng.

Khoảng cách micro và âm thanh nền thêm một lớp ảnh hưởng. Google khuyên đặt micro gần người nói, nhất là khi có tiếng ồn nền, và cảnh báo nhiễu quá mức có thể làm giảm độ chính xác. Với lệnh drone, dấu thanh vốn đã khó với một người nói có thể tiếp tục bị tiếng cánh quạt hoặc méo âm che đi. Điều này giải thích cơ chế; nó không dự đoán một tỷ lệ lỗi chung cho mọi hệ thống tiếng Việt.

Thiết kế và đo bộ lệnh tiếng Việt thế nào?

Bắt đầu bằng một bộ intent phân biệt rõ và tránh lệnh chỉ khác nhau ở một dấu hiệu mong manh nếu không cần đối lập đó. Chọn câu có âm tiết rõ và đủ ngữ cảnh để xác định hành động cùng tham số cần thiết. Có nhánh xác nhận hoặc hỏi lại cho kết quả thiếu tin cậy, từ ngoài từ vựng hay mâu thuẫn. Giữ một đường điều khiển không dùng giọng nói cho hành động quan trọng.

Tạo mẫu đại diện từ người dùng, vùng miền, micro, tốc độ nói và mức ồn dự kiến. Giữ lại âm thanh chính xác cùng bản chép tham chiếu do người ghi. So đầu ra với bản tham chiếu bằng word error rate, chỉ số đếm từ bị thay, mất và chèn so với các từ tham chiếu. Đồng thời báo kết quả cấp lệnh: intent đúng, giá trị tham số đúng, cần hỏi lại hay từ chối. Chia kết quả theo người nói và điều kiện để điểm tổng tốt không che một nhóm có nhận dạng kém.

Nhà cung cấp có thể ghi tiếng Việt là ngôn ngữ được hỗ trợ hoặc cung cấp mô hình tối ưu cho câu lệnh ngắn, nhưng hỗ trợ là tuyên bố tương thích, không bảo đảm chính xác cho từ vựng, giọng hay micro nhiều nhiễu cụ thể. Bằng chứng quyết định là hiệu năng trên nhóm người dùng và thiết lập dự kiến.

Ví dụ: thử một cặp nhạy với thanh điệu

Kế hoạch đánh giá giả định, không phải độ chính xác đã đo.

Giả sử bản mẫu có hai lệnh ngắn chỉ khác một âm tiết được nói. Nhóm thu từng lệnh từ một số người dùng dự kiến trong môi trường yên tĩnh và môi trường có tiếng ồn dự kiến, dùng vị trí micro cuối cùng. Mỗi tệp có bản chép tham chiếu và nhãn intent/tham số dự kiến. Nhóm kiểm xem bản chép ASR giữ được từ phân biệt thanh điệu chưa, rồi xem bộ phân tích lệnh chọn đúng intent không. Nếu lỗi tập trung ở một vùng, họ thu thêm bản ghi đại diện và xem lại từ vựng hoặc hỗ trợ của mô hình; không giấu mẫu lỗi trong một điểm tổng. Nếu tiếng ồn gây đổi từ, thử vị trí micro và khâu thu âm trước khi cho rằng mô hình ngôn ngữ mới sẽ tự sửa được.

Hiểu lầm thường gặp

Mô hình hỗ trợ tiếng Việt sẽ nhận đúng mọi lệnh tiếng Việt. Hỗ trợ không bảo đảm hiệu năng trên bộ câu, nhóm người nói hay môi trường nhiều tiếng ồn cụ thể.

Câu hỏi thường gặp

Thanh điệu giúp nhận dạng điều gì?

Đường cao độ, mức cao độ và chất giọng giúp phân biệt âm tiết. Nếu nhiễu che các dấu hiệu đó, bản chép có thể đổi.

Vì sao cần thử nhiều vùng và người nói?

Phát âm thay đổi giữa người và phương ngữ. Mẫu một giọng không cho thấy hệ thống hoạt động thế nào với nhóm người dùng dự kiến.

Word error rate có đủ để đánh giá lệnh nói không?

Không. Hãy ghép điểm bản chép với kết quả lệnh vì một khác biệt nhỏ trong chữ có thể làm đổi intent hoặc tham số.

Tóm tắt

• Thanh điệu và phát âm mang khác biệt từ mà câu ngắn có thể không lặp lại trong ngữ cảnh.
• Nhiễu, vị trí micro và khác biệt người nói làm đổi dấu hiệu mà bộ nhận dạng nhận được.
• Đo lỗi bản chép và lệnh theo người nói, điều kiện; nhãn hỗ trợ ngôn ngữ không phải kết quả chính xác.