Vì sao cần hiểu học tăng cường?

• Tác tử
• Môi trường
• Phần thưởng

Bạn sẽ học được gì

• Mô tả cách một tác tử học từ phần thưởng.
• So sánh học tăng cường với học từ dữ liệu có nhãn.
• Giải thích vì sao cách học này quan trọng với robot và trò chơi.

Cần biết trước

Bạn chỉ cần biết ý tưởng học máy ở bài đầu của chủ đề này: máy tính học từ dữ liệu.

Tác tử học từ phần thưởng như thế nào?

Tác tử học bằng thử và sai. Hãy nghĩ đến em bé tập đi xe đạp: mỗi lần thử cho biết cách nào được, cách nào không.

MIT News mô tả các nhà nghiên cứu đặt phần thưởng cho hành vi "tốt" hướng tới mục tiêu; tác tử điều chỉnh hành vi để tối đa hóa phần thưởng đó. Đây là cách bài báo mô tả ví dụ, không phải bảo đảm rằng mọi tác tử đều thành chuyên gia.

IBM bổ sung một chi tiết về vòng lặp này. Nếu một hành động nhận được tín hiệu thưởng từ môi trường xung quanh, tác tử được khuyến khích làm lại hành động đó khi gặp một trạng thái tương tự về sau. IBM phân biệt tín hiệu thưởng tức thời với lợi ích dài hạn; tác tử tối đa hóa tổng phần thưởng nhận từ môi trường.

• Tác tử thử
• Kết quả của lần thử
• Phần thưởng

Khác gì với học bằng dữ liệu có nhãn?

Học có giám sát dùng ví dụ được gắn nhãn để cung cấp đầu ra mục tiêu, chẳng hạn nhóm hoặc giá trị cần dự đoán. Trong giai đoạn học tăng cường, tác tử nhận phản hồi qua tín hiệu thưởng thay vì nhãn cho biết từng hành động đúng hay sai. Điều này mô tả tín hiệu dùng trong giai đoạn học tăng cường, không có nghĩa mọi giai đoạn của một hệ thống đều không dùng dữ liệu có nhãn.

Trong mô tả của IBM về tác tử không có dữ liệu đầu vào được gắn nhãn dẫn đường, tác tử khám phá môi trường và thử các hành động để tìm ra hành động nào nhận thưởng.

Trọng tâm cũng khác. Trong khi học máy truyền thống chủ yếu tập trung vào khai thác mẫu, học tăng cường chuyển trọng tâm sang việc ra quyết định.

• Ví dụ có nhãn
• Tác tử
• Phần thưởng

Vì sao cách học này quan trọng?

Nó quan trọng vì giúp máy học cách hành động, không chỉ nhận ra mẫu. Đại học Stanford nói AI cần các hệ thống tự chủ biết học cách ra quyết định tốt, và học tăng cường là một khung phương pháp mạnh để làm việc đó.

Ý tưởng này hữu ích ở nhiều nơi. Một khóa học của Stanford mô tả nó liên quan tới một phạm vi rất rộng các nhiệm vụ, gồm robot, chơi game, mô hình hóa người tiêu dùng và chăm sóc sức khỏe.

Ví dụ nổi tiếng nằm ở trò chơi. Một báo cáo của Stanford nói thành công của AlphaGo, chương trình đã đánh bại nhà vô địch cờ vây của loài người, phần lớn nhờ học tăng cường. Báo cáo cũng cho biết tác tử ban đầu được khởi tạo bằng cơ sở dữ liệu chuyên gia, rồi được cải thiện bằng cách chơi nhiều ván với chính nó và áp dụng học tăng cường.

Robot cũng có thể hưởng lợi. Báo cáo AI100 cho rằng học tăng cường có thể giúp thu hẹp khoảng trống do thiếu các tập dữ liệu có nhãn lớn trong robot học. Cách tiếp cận này cũng đòi hỏi hệ thống khám phá an toàn, không gây lỗi làm hại chính hệ thống hay người khác.

• Robot
• Chơi game
• Chăm sóc sức khỏe

Ví dụ trong đời sống

Hãy nghĩ đến việc dạy chó một trò mới bằng thức ăn thưởng. Chó thử nhiều việc, được thưởng khi làm đúng và lặp lại động tác đó. Tác tử trong học tăng cường đi theo cùng vòng lặp ấy, với phần thưởng thay cho miếng ăn. Thí nghiệm tưởng tượng này không cần máy tính.

Hiểu lầm thường gặp

Máy được báo đáp án đúng sau mỗi lần. Trong cách học tăng cường được mô tả ở đây, tác tử nhận phản hồi qua tín hiệu thưởng thay vì ví dụ có nhãn chỉ rõ hành vi đúng hoặc sai.

Học tăng cường là thứ hoàn toàn mới. Báo cáo của Stanford cho biết nó đã tồn tại nhiều thập kỷ như một khung cho việc ra quyết định tuần tự dựa trên trải nghiệm. Sau đó học sâu tiếp thêm sức mạnh ("shot in the arm") cho nó.

Chỉ chương trình chơi game mới dùng. Trang khóa học của Stanford còn nêu robot, mô hình hóa người tiêu dùng và chăm sóc sức khỏe bên cạnh chơi game.

Câu hỏi thường gặp

Tác tử trong học tăng cường là gì?

Theo IBM, học tăng cường là quy trình trong đó các tác tử tự chủ học cách ra quyết định bằng cách tương tác với môi trường. Robot và xe tự lái là ví dụ về các tác tử tự chủ.

Học tăng cường có cần dữ liệu có nhãn không?

Trong giai đoạn học tăng cường, tác tử nhận tín hiệu thưởng và khám phá môi trường thay vì được cung cấp nhãn đúng/sai cho từng hành động. Những giai đoạn khác của cùng một hệ thống vẫn có thể dùng dữ liệu có nhãn: báo cáo Stanford cho biết AlphaGo được khởi tạo bằng cơ sở dữ liệu chuyên gia trước khi tự chơi và áp dụng học tăng cường.

Vì sao học sâu quan trọng với học tăng cường?

Báo cáo của Stanford nói sự xuất hiện của học sâu đã tiếp thêm sức mạnh ("shot in the arm") cho học tăng cường. Thành công của AlphaGo là ví dụ chính.

Tóm tắt

• Tác tử học bằng thử và sai, điều chỉnh hành vi để tối đa hóa tổng phần thưởng nhận được.
• Khác với học có giám sát, vốn dùng nhãn đầu ra mục tiêu như nhóm hoặc giá trị, học tăng cường dùng tín hiệu thưởng làm phản hồi cho hành động.
• Nó quan trọng vì dạy máy ra quyết định, trong các lĩnh vực như robot và chơi game.