1
関節を検出
RGB画像からOpenPoseなどで人物の2D関節座標を抽出します．
Computer Vision · 3D Human Pose · 2021
見えている部分から，
身体の姿勢を3Dで捉える．
全身が映らなくても，上半身だけを正確に推定したい．単眼画像による3D姿勢推定を，座り姿勢の見守りへ応用する研究．
Evaluations and Applications of Partial Body Joint Model in 3D Human Pose Estimation from Single Image — 全身17関節と上半身9関節のモデルを比較し，実環境で検証しました．
3D HUMAN POSESINGLE CAMERAPARTIAL BODY JOINTS
01 / CHALLENGE
身体の一部が隠れると，推定が難しくなる
写真1枚から関節の3D位置を推定する技術は，行動解析やインターフェースに役立ちます．しかし，机や棚の陰に下半身が隠れたり，カメラが斜め上から撮影したりすると，全身モデルの推定精度が落ちることがあります．
そこで，見えている上半身の9関節だけを学習・推定するモデルを構築し，全身17関節を対象にしたモデルと比較しました．
「すべての関節を推定する」発想から，「見えている関節に集中する」発想へ．
02 / METHOD
2Dの関節位置から，3Dの姿勢へ
まず画像から2D関節位置を求め，ニューラルネットワークで3D位置に変換します．上半身モデルはMartinezらのシンプルな全結合ネットワークを基礎とし，推定対象の関節を絞りました．
2
3D姿勢を推定
上半身の関節に特化したニューラルネットワークを使用します．
3
実測と比較
RGB-Dカメラで得た基準3D座標と比べ，推定誤差を評価します．
モデル学習と評価の設定
| 項目 | 仕様・設定 |
|---|---|
| 比較するモデル | 全身モデル17関節／上半身モデル9関節 |
| 学習データ | Human3.6M（被験者 S1，S5，S6，S7，S8） |
| 検証データ | Human3.6M（S9，S11） |
| 隠れた下半身の入力 | 全身モデルでは該当2D座標を（0, 0）に設定 |
| 隠れ層の幅 | 1024次元（全結合層） |
| ドロップアウト | 0.5 |
| 学習 | 200エポック，学習率0.001，バッチサイズ64 |
| 評価指標 | Procrustes解析による位置・回転・スケール調整後の3D関節誤差 |
出典：論文 Section II．評価誤差は剛体配置などの差を取り除いた後の関節形状の誤差です．
03 / DATASETS
公開データと，実環境で撮影した2種類のデータを評価
正面に近い画像だけでなく，机で座る姿勢や，医薬品棚で作業する人を高い位置から撮影した画像を使いました．
3つの評価データセット
| データセット | 撮影・計測 | 評価した姿勢数 |
|---|---|---|
| Human3.6M | 公開3D姿勢データ．学習・検証とは別の姿勢を使用 | 548,800 |
| 座位姿勢 | Intel RealSense D435，1名，640×480 px，30 fps | 7,350 |
| 高角度の立位作業 | Azure Kinect，5名，医薬品棚の操作動作 | 10,000 |
出典：論文 Section II–III．評価単位は人物数ではなく，抽出された3D姿勢サンプル数です．
04 / RESULTS
上半身に特化すると，正面画像で誤差を低減
3つの評価データセットで上半身9関節の平均3D誤差を比べました．数値が小さいほど高精度です．
3D関節位置の平均誤差の比較
| データセット | 全身モデル | 上半身モデル | 改善量 |
|---|---|---|---|
| Human3.6M | 9.24 cm | 4.74 cm | 4.50 cm改善 |
| 座位姿勢 | 12.42 cm | 10.73 cm | 1.69 cm改善 |
| 高角度の立位作業 | 12.74 cm | 11.97 cm | 0.77 cm改善 |
出典：論文 Table I．全値は9関節についての平均．Human3.6Mではp < .001，座位姿勢は論文記載でp < .05，高角度では有意差なし．比較に使った統計検定は各関節の誤差に基づきます．
正面では大きく改善，極端な角度では課題が残る
Human3.6Mでは平均誤差が約半分になりました．ただし，頭上からの撮影では改善は約0.8 cmにとどまり，統計的に有意な差は示されませんでした．学習データと撮影角度の違いへの対応が今後の課題です．
05 / APPLICATION
Webカメラで座り姿勢の崩れを検知
研究の応用例として，デスクワーク中の姿勢を非接触で見守る試作システムを開発しました．上半身の3D推定結果から首・背骨・骨盤の角度を計算し，設定した範囲を外れると姿勢の悪化として警告します．
姿勢モニタリングの実験条件
| 参加者 | 5名 |
|---|---|
| Webカメラ | Buffalo BSW200MBK |
| 画像・速度 | 640×480 px・30 fps |
| 測定距離 | 70 cm |
| 基準センサー | IMU（100 Hz） |
| 動作 | 前傾と起き上がりを各5秒 |
主な結果
| IMUとの平均相関係数 | 0.933 |
|---|---|
| 判定に使う情報 | 首・背骨・骨盤がつくる角度 |
| 警告の仕組み | 利用者が設定した角度範囲の逸脱 |
| 身体への装着 | 運用時の提案方式では不要 |
出典：論文 Section IV．IMUは実験で角度変化を比較する基準として使用しました．相関は角度変化の一致傾向であり，角度の絶対誤差や臨床性能を示す数値ではありません．
一台のWebカメラから，姿勢の変化を捉える
この研究は，部分的に見える身体の3D姿勢推定を，座位姿勢の悪化の検知へつなげました．ただし，評価参加者は少数であり，姿勢警告の実用上の信頼性や多様な撮影環境への対応は今後の検証が必要です．
PUBLICATION · 2021
Evaluations and Applications of Partial Body Joint Model in 3D Human Pose Estimation from Single Image
Yuta Ono, Oky Dicky Ardiansyah Prima, Kazuki Hosogoe
International Journal on Advances in Life Sciences, Vol. 13, No. 1 & 2, pp. 114–123 (2021).