お手本から学ぶ(模倣学習)

この方策を、別の置き方 20 通りで試す

いま選んでいる方策で、番号 5000 から 20 通りの置き方を 10 秒ずつ片付けさせます(画面には出さず、ブラウザの中で速く回します。十数秒かかります)。

お手本の数と成功率

見どころ

• お手本の量: 10 回、25 回、50 回では一度も成功しません。100 回で少し、200 回でようやく半分以上。どれくらい集めれば足りるかは、やってみないと分かりません。
• 揺れを混ぜる効果(DART): 先生がいつも完璧な道を通ると、ネットは「道から少し外れたときにどう戻るか」を一度も見ていません。ネットの動きが少しずれると、見たことのない状態に入って崩れます(covariate shift、「見たことのない状態へのずれ」)。お手本を集めるとき先生の手先をわざと数 mm 揺らし、「外れた状態からの正しい指令」も記録しておくと強くなります。
• データの作り方のコツ: 先生の指の開け閉めは時刻ではなく「手が実際にその高さまで下りたか」で決めています。時刻で決めると、直前と直後で状態がほぼ同じなのに指令だけが違い、真似する側が迷って止まってしまうからです。指令は「いまからどれだけ動くか」の形にしています。
• はなしたあとに手を上げる動きは、ネットは学べていません(先生の手順は約 8 秒で終わり、残りの時間のお手本がないため)。

元の Python 版(imitation.py)との違い

• 学習のしくみ: Python 版は PyTorch、こちらは自前で書いた MLP(全結合のニューラルネット)と Adam(重みの更新法)。構造は「12 個の状態 → 隠れ 3 層 → 5 個の指令」で同じですが、隠れ層は 256 ではなく 128 個に小さくし、1 回に使うデータも 512 組ではなく 256 組にしました。ブラウザで配れる大きさと、Node で数分で学習が終わる速さを優先したためです。
• 学習はブラウザの外: tools/train.mjs を Node で動かして、お手本集め・学習・評価を済ませています。画面は結果の再生だけです(約 5〜6 分、CPU 10 コアで並列)。
• 角度の計算: Python 版は mink(逆運動学のライブラリ)、こちらは減衰つき最小二乗法の自前の実装。ほかのブラウザ版 Panda アプリと同じです。物理は MuJoCo を WebAssembly で動かしています。
• お手本の数と評価: お手本は 10 / 25 / 50 / 100 / 200 回(Python 版は 10 / 50 / 200 回)。評価は学習に使わない 100 通りの置き方(Python 版は 50 通り)。
• 学習のぶれ: 同じお手本でも、学習の乱数(初期値と取り出す順)が違うと成功率が大きく変わります(200 回・揺れありで 55%、63%、84% など)。そこで表の成功率は、乱数を変えた 3 回の学習の平均です。画面で動かす方策は、3 回のうち平均にいちばん近かった 1 つです。揺れの有無の差も、このぶれと同じくらいの大きさなので、傾向としては見えるものの、はっきり証明できる差ではありません。
• 数値: Python 版の README(200 回で 80%、揺れなし 56%)とは細かい数字が一致しません。物理計算の違いもあり、傾向(お手本が多いほど上がる、揺れを混ぜたほうが高い)が同じかどうかを見てください。