頭部の向き
MediaPipe Face Meshの顔特徴点から,PnP法で頭部の6DoF姿勢を推定します.

実車のハンドル・ペダルとVR空間を組み合わせ,熟練を要するスピードスプレーヤの操作訓練を支援するシミュレータ.
Development of a VR Simulator for Speed Sprayer Operation Training — 実際の運転行動とVRでの行動を比較し,訓練への可能性と課題を検証しました.
リンゴやブドウの果樹園で使われるスピードスプレーヤは,車速,散布方向,ノズル,圧力などを適切に操作する必要があります.散布範囲の外への農薬飛散を抑えるには,運転技能の習得が欠かせません.
実機を使わずに操作を練習できれば,訓練や操作インターフェースの改善に役立ちます.本研究では,実車に近い操作系を備えたVRシミュレータを開発しました.

Unityで果樹園と散布車の3Dモデルを構築.VR内で周囲を見渡しながら,実物のハンドルとペダルを操作します.散布ボタンはVR画面の車内に配置し,手の動きで操作します.


| 構成 | 機器・設定 | 取得する情報 |
|---|---|---|
| VRヘッドセット | Oculus Quest 2 | 頭部位置・姿勢(6DoF),手の動き |
| ハンドル・ペダル | Logitech G27 | ハンドル角 −180~180°,アクセル・ブレーキ 0~1 |
| 開発環境 | Unity | 果樹園・車両・操作パネルの再現 |
| VRデータ記録 | 60 fps | 運転入力・頭部姿勢・手の操作 |
| 実車内カメラ | GoPro HERO8 × 2 | 3840×2160 px,60 fps |
| 実験用PC | Core i7-7700,32 GB RAM,GTX 1070 8 GB | シミュレーションの実行 |
出典:論文 Table I,Section III.機器構成は2021年の実験時のものです.
シミュレータが実際の運転をどこまで再現できるかを確かめるため,実車運転席の前後にカメラを設置.頭部の動き,ボタン操作,ハンドル回転角度を取得しました.
MediaPipe Face Meshの顔特徴点から,PnP法で頭部の6DoF姿勢を推定します.
MediaPipe Handsで手指のランドマークを追跡し,操作行動を調べます.
ハンドルのマーク画像を深層学習で分析し,回転角を推定します.
| 項目 | 設定・結果 |
|---|---|
| 入力画像 | ハンドルのマーク領域 64×64 px |
| 出力 | 角度を sin・cos で表現 |
| 学習データ | 15,840画像(44組×360回転) |
| 検証データ | 6,480画像(18組×360回転) |
| 角度推定誤差 | 2°未満 |
出典:論文 Section III-C.角度精度はハンドルマークの画像認識についての結果です.
実車での散布手順を9つの行動に分け,VR上でも同じ一連の操作を行いました.ボタン操作の前後に頭をどこへ向けるか,曲がるときにハンドルをどのように切るかを比較しました.
| 参加者 | 10名 |
|---|---|
| 年齢 | 22~26歳 |
| 事前練習 | 操作練習2回,約10分 |
| 評価する操作 | 計9行動 |
| 比較する作業 | 実車の約3分間の散布作業 |
| 実車の走行速度 | 約3.6 km/h |
| 走行開始 | 散布開始位置への移動とハンドル操作 |
|---|---|
| 右側散布 | 右向きノズルの開始・停止 |
| 上方散布 | 中央ボタンで高い樹木への散布を開始・停止 |
| 確認動作 | 窓・ミラー・操作ボタンへの視線移動 |
| 記録 | ELANによる動画と時系列情報の統合 |
出典:論文 Section IV.参加者はVR/MRの操作に慣れた人であり,熟練農業従事者の技能向上を直接測った実験ではありません.
ハンドルを切る動きは,VR参加者と実車運転者で全体的な傾向が似ていました.また,散布ボタンを操作する際の頭の上下・左右の動きにも類似した特徴が見られました.


| 対象 | 観察された傾向 | 残る課題 |
|---|---|---|
| ハンドル操作 | VRと実車で回転の大まかな傾向が共通 | 実車は4輪操舵,VR車両は2輪操舵 |
| 頭部姿勢 | ボタン操作時のピッチ・ヨーの変化が類似 | 確認・操作するタイミングには個人差 |
| 散布ボタン | 必要な操作手順をVRで練習可能 | 実車は物理ボタン,VRは空中の仮想ボタン |
| 運転感覚 | 基本的な操作の再現に成功 | 身体に伝わる動きと視野の再現を改善する必要 |
出典:論文 Section IV–V.論文は類似傾向を示しており,技能向上率や訓練効果を定量的に証明したものではありません.
VRで車両の基本操作と散布手順を体験し,頭部姿勢やハンドル入力を分析できることを示しました.将来は農薬の無駄な散布量の表示や,ハンドル周辺へのボタン集約を進め,実用的な訓練・操作支援を目指します.
Yu Tanaka, Oky Dicky Ardiansyah Prima, Katsuyoshi Hotta, Kanayo Ogura, Koichi Matsuda, Shoichi Yuki
International Journal on Advances in Software, Vol. 14, No. 1 & 2, pp. 151–161 (2021).
Collaboration: Iwate Prefectural University × YAMABIKO Corporation.