AnyBodyの人体モデルには、指先まで細かくモデル化された手詳細モデルが実装されています。
このモデルを用いることで、手先の細かな動きを解析し、指の各関節に生じるモーメントや関節反力、筋発揮の大きさなどの情報を計算し、出力することが可能です。
このモデルに実際のヒトの動作を再現させ、解析を行うためには、動作を記録した情報を入力として与える必要があります。
動作を情報として記録する方法はモーションキャプチャと呼ばれ、光学式モーションキャプチャや慣性式モーションキャプチャが一般的によく知られています。これらのモーションキャプチャは高精度の動作計測が可能であったり、カメラの視線に依存せず、障害物があっても動きの取得が可能、などそれぞれ利点がありますが、計測装置やマーカーが必要になり、手軽な動作取得にはあまり向いていません。
例えば、光学式モーションキャプチャでは下図のようにマーカーを手指に貼付して、マーカーの動きを複数台のカメラで補足している必要があります。
光学式のモーションキャプチャにおけるマーカー配置
Regensburg-Ulm Hand Model (RUHM) — AMMR v3.0.4 Documentation (anyscript.org)
手軽に動作を計測し、解析することを目的とすると、人工知能(AI)を用いて画像・動画から人体の特徴点の位置情報を推定するAI姿勢推定によるデータの取得が候補になります。
参考:AIによる姿勢推定を用いた筋骨格解析 (terrabyte.co.jp)
いくつかのAI姿勢推定では、手指の特徴点を抽出することができます。
Googleが提供している、”MediaPipe Solutions”にもその機能が実装されています。
| MediaPipe Solutionsについて MediaPipe Solutions guide | Google AI Edge | Google AI for Developers MediaPipe Solutionsは、Googleが開発したライブメディアやストリーミングメディア向けの機械学習ソリューションです。 人工知能（AI）と機械学習（ML）の手法を迅速に適用するためのライブラリとツールが用意されています。 顔や手、ポーズをリアルタイムで検出することができます。 また、ソースコードはオープンソースで公開されています。 |
本事例では、”MediaPipe”を用いてデータを取得して、AnyBodyの手詳細モデルに動作を与えました。
以下の手順で行いました。
①解析する動画(mp4形式)を用意する。
②MediaPipeの姿勢推定プログラムを実行して、手の特徴点をcsvファイルで抽出、出力する。
動画内で手の形が認識されると、下記、特徴点の位置情報をcsvファイル形式で出力することが出来ます。
Hand landmarks detection guide | Google AI Edge | Google AI for Developers
③AnyBodyを起動して、出力されたcsvファイルを読み込む。
下記はcsvファイルに記録されている各特徴点を青色で表示しています。
手首から指先にかけて隣接する特徴点同士を黒い線でつなぐことで手の形状になります。
④特徴点のデータを手詳細モデルの拘束として活用して筋骨格解析を行う
AnyBodyの手詳細モデルに各特徴点と対応するマーカーノードを設定します。
手詳細モデルに設定したマーカーノードに対して、各特徴点の位置情報を拘束として入力することで指先の動作が定まります。
課題
MediaPipeによって出力されるのは、画像や動画から推定された特徴点（関節中心）の3D位置座標データです。手首から指先にかけて隣接する特徴点間の距離は、各指の骨の長さに相当します。そのため、特徴点の推定が正確であれば、この距離は不変となるはずです。しかし、MediaPipeによる特徴点の推定結果では、この距離が一定ではありません。
例えば、今回解析に使用した動画では、各特徴点間の距離が下図のように変動しており、一貫した値を示していないことが確認できます。これは、身体の一部が隠れたり、他の物体と重なったりした際に、座標推定の精度が低下するためです。特に、動画後半で見られる指の屈曲や伸展動作のように、画面の奥行き方向に動きが加わる場合には、推定精度が大きく低下することが確認されています。
各特徴点の距離
