台車の上に棒が立っています。ロボットが知っているのは「倒れずにいられたら 1 点」という報酬だけ。でたらめに動いては倒れるうちに、棒を立て続ける動かし方を自分で見つけます。方策(いまの状態を見て、台車をどちらにどれだけ押すかを決める関数)を切り替えて、学習の前と後を見比べてみてください。ドラッグで視点を回せます。
この画面ではブラウザの中で学習していません。あらかじめ Node で PPO を回して学習しておいた方策の重みを読み込み、その動きをここで再生しています。