【開催報告】第25回ステアラボ人工知能セミナー 内部英治 様「強化学習と逆強化学習を組み合わせた模倣学習」 Seminar Report: The 25th STAIR Lab AI Seminar: Dr. Eiji Uchibe, "Imitation Learning based on a Combination of Forward and Inverse Reinforcement Learning"

2019年9月20日(金)に第25回ステアラボ人工知能セミナーを開催しました。

今回は国際電気通信基礎技術研究所 脳情報通信総合研究所 主幹研究員 の内部 英治様をお招きして、「強化学習と逆強化学習を組み合わせた模倣学習」についてご講演いただきました。

講演ではまず、強化学習の基本的な考え方とその問題点である報酬設計の困難さについて、次いで、報酬を熟練者のデータから推定する技術である逆強化学習について、例を交えてご紹介頂きました。またこれら2つの学習手法を組み合わせた模倣学習の有用性についてご説明頂きました。

また、最新の研究成果として、エントロピ正則化された強化学習の考え方にもとづいた敵対的模倣学習の手法についてご紹介頂きました。この手法により、(順)強化学習と逆強化学習においてネットワークの一部が共有されるようになるため、従来手法よりもサンプル効率が良くなることが幾つかのベンチマーク実験によって示されたこと等もご紹介頂きました。

We held STAIR Lab AI Seminar on Sep. 20, 2019.
Dr. Eiji Uchibe, Brain Information Communication Research Laboratory Group, Advanced Telecommunications Research Institute International, gave a talk titled “Imitation Learning based on a Combination of Forward and Inverse Reinforcement Learning”.

以下は講演スライドです。ぜひご覧ください!

The following is the talk slides (in Japanese). Please do have a look!

以下は講演動画です。ぜひご覧ください!

The following is the talk video (in Japanese). Please do have a look!