制御と学習 — 運動学・動力学・二足歩行・強化学習・VLA

制御は、周期の違う層を積み重ねて「何をするか」から「関節の電流」までつなぐ

人型ロボットの制御は、頭脳と電源の章の図のように層になっています。「コップを取る」と決める層、手の道筋と足の置き場所を決める層、全身の関節に力を配って転ばないようにする層、そして関節ごとに角度と力を合わせる層です。この章では、物理の式で動きを計算する従来の方法 (運動学・動力学・歩行の制御) と、近年急速に広がった学習による方法 (強化学習・模倣学習・VLA モデル) を順に説明します。

どちらか一方が勝つわけではありません。関節の角度を合わせる最も下の層は、今も物理の式に基づく制御が中心です。一方、歩き方や物のつかみ方のように、式で書き切れない動きは学習で身につける例が増えています。

運動学 — 関節の角度から手の位置を求める、手の目標から関節の角度を求める

肩・肘・手首の角度が分かれば、手先がどこにあるかは幾何学で1つに決まります。これを順運動学と呼びます。反対に、手先をコップの位置へ持っていくには、各関節を何度にすればよいかを求めなければなりません。これが逆運動学で、答えが1つとは限らず、届かない場所では答えがありません。

人間の腕は肩3・肘1・手首3の7自由度で、手先の位置と向き (6つの値) を決めても、肘の高さを選ぶ余地が1つ残ります。この余り (冗長性) を使うと、障害物を避けたり、関節の限界から離れた楽な姿勢を選んだりできます。人型ロボットの腕も7自由度前後で作ることが多いのはこのためです。ロボットの腕の制御は、本誌のロボットアームの制御の記事で具体的な計算とともに扱いました。

動力学 — 人型ロボットは床に固定されておらず、足の裏の力でしか体を動かせない

運動学が「形」を扱うのに対し、動力学は「力」を扱います。重い物を持てば肩にかかる力が増え、腕を速く振れば反動で体が揺れます。産業用ロボットは土台が床にボルトで固定されているので、反動は床が受け止めます。人型ロボットの胴は床に固定されておらず、体を支え、動かせるのは、足の裏が床から受ける力だけです。足の裏が滑ったり浮いたりすれば、体を思いどおりに動かせなくなります。これが人型ロボットの制御を難しくしている根本の理由です。

二足歩行の基本は、足の裏にかかる力の中心 (ZMP) を足の裏の範囲に収め続けること

二足歩行の制御で最も基本となる考え方がZMP (ゼロモーメントポイント)です。足の裏は床から多くの点で力を受けていますが、それを1つの力にまとめたとき、その力が作用する点が ZMP です。ZMP が足の裏の範囲 (両足で立っていれば両足を囲む範囲) の内側にあれば、足は床から浮かず、体は倒れません。範囲の端に達すると、足の縁を軸にして体が倒れ始めます。

歩くときは、片足で立つ時間があり、その間の範囲は片足の裏だけになります。そこで、少し先までの重心の動きを予測し、ZMP が常に足の裏に収まるように重心の動きと次の足の置き場所を計画します。計算を速くするため、体を「重心と足を結ぶ棒」とみなす倒立振子モデルがよく使われます。この分野は日本の研究が長く先導してきました。ZMP の考え方を実機で初めて使って動的に歩いたのは、1984年の早稲田大学の脚ロボット WL-10RD です。2000年のホンダの ASIMO は、床反力・目標 ZMP・着地位置の3つの制御を組み合わせて歩きました。ZMP は歩行の設計の土台で、それだけで歩けるわけではありません。

力の制御と全身制御 — 硬く正確に動くだけでなく、柔らかく触れる

位置だけを正確に合わせる制御では、人や物にぶつかったときに強い力が出てしまいます。インピーダンス制御は、手先や関節を、決めた硬さのばねと、揺れを抑えるダンパーのようにふるまわせる制御です。押されれば押された分だけ柔らかく退き、ドアを開ける・物を拭くといった、相手に触れながらの作業ができます。

人型ロボットは、手で作業しながらバランスを取り、関節の限界も守らなければなりません。これらの目標を同時に満たす全関節のトルクを、1秒に数百回の速さで最適化の問題として解くのが全身制御です。「転ばない」を最優先にし、手の作業をその次にするというように、目標に優先順位を付けて解きます。

学習 — 仮想空間で試行錯誤させ、人の手本をまねさせ、画像と言葉から動きを出す

強化学習は、うまくいった行動に点数を与え、点数が高くなる行動を試行錯誤で身につけさせる方法です。実物のロボットで何万回も転ばせるわけにはいかないので、物理の法則を計算するシミュレーターの中で、何千台ものロボットを同時に歩かせて学ばせます。GPU で並列に計算するシミュレーターの登場で、学習は大幅に速くなりました。2021年の論文では、4,096台を同時に計算し、平らな床の歩き方を GPU 1枚で4分足らずで学ばせています。

課題は、仮想空間と実物の差です。床の摩擦、モーターの反応の遅れ、部品の寸法のずれは、シミュレーターでは完全には再現できません。そこで、学習のたびに摩擦や重さをわざとばらつかせ、どの条件でも倒れない歩き方を身につけさせます (シミュレーションから実機への移行)。

手の作業は、点数の付け方を決めるのが難しいため、人がお手本を見せる模倣学習がよく使われます。人が遠隔操作でロボットを動かし、その記録をまねさせます。さらに近年は、画像と言葉の指示を受け取って手足の動きを直接出すVLA モデル (視覚・言語・行動モデル) が相次いで発表されています。インターネット上の大量の画像と文章で学んだ知識を、ロボットの動きに結びつける試みです。

この章の確認