← Research 一覧へ
PRIMA LAB
Virtual Reality · Agricultural Engineering · 2021

果樹園の農薬散布を,
VRで安全に練習する.

実車のハンドル・ペダルとVR空間を組み合わせ,熟練を要するスピードスプレーヤの操作訓練を支援するシミュレータ.

Development of a VR Simulator for Speed Sprayer Operation Training — 実際の運転行動とVRでの行動を比較し,訓練への可能性と課題を検証しました.

VR SIMULATORAGRICULTUREDRIVING BEHAVIOR
01 / CHALLENGE

安全で効率的な散布作業の訓練を目指す

リンゴやブドウの果樹園で使われるスピードスプレーヤは,車速,散布方向,ノズル,圧力などを適切に操作する必要があります.散布範囲の外への農薬飛散を抑えるには,運転技能の習得が欠かせません.

実機を使わずに操作を練習できれば,訓練や操作インターフェースの改善に役立ちます.本研究では,実車に近い操作系を備えたVRシミュレータを開発しました.

研究は岩手県立大学と株式会社やまびこの共同研究として実施されました.
農薬散布車の実車と樹形に応じた散布方向の模式図
論文 Fig. 1より:株式会社やまびこのスピードスプレーヤ SSV1091FSC と,樹形ごとの散布方法.
02 / SIMULATOR

VRヘッドセットと実物の操作装置を統合

Unityで果樹園と散布車の3Dモデルを構築.VR内で周囲を見渡しながら,実物のハンドルとペダルを操作します.散布ボタンはVR画面の車内に配置し,手の動きで操作します.

シミュレータの主な構成・設定
構成機器・設定取得する情報
VRヘッドセットOculus Quest 2頭部位置・姿勢(6DoF),手の動き
ハンドル・ペダルLogitech G27ハンドル角 −180~180°,アクセル・ブレーキ 0~1
開発環境Unity果樹園・車両・操作パネルの再現
VRデータ記録60 fps運転入力・頭部姿勢・手の操作
実車内カメラGoPro HERO8 × 23840×2160 px,60 fps
実験用PCCore i7-7700,32 GB RAM,GTX 1070 8 GBシミュレーションの実行

出典:論文 Table I,Section III.機器構成は2021年の実験時のものです.

03 / MEASUREMENT

実車の運転行動を画像から数値化

シミュレータが実際の運転をどこまで再現できるかを確かめるため,実車運転席の前後にカメラを設置.頭部の動き,ボタン操作,ハンドル回転角度を取得しました.

1

頭部の向き

MediaPipe Face Meshの顔特徴点から,PnP法で頭部の6DoF姿勢を推定します.

2

ボタン操作

MediaPipe Handsで手指のランドマークを追跡し,操作行動を調べます.

3

ハンドル角度

ハンドルのマーク画像を深層学習で分析し,回転角を推定します.

ハンドル角度推定モデルの条件
項目設定・結果
入力画像ハンドルのマーク領域 64×64 px
出力角度を sin・cos で表現
学習データ15,840画像(44組×360回転)
検証データ6,480画像(18組×360回転)
角度推定誤差2°未満

出典:論文 Section III-C.角度精度はハンドルマークの画像認識についての結果です.

04 / EXPERIMENT

果樹園での約3分間の散布作業を再現

実車での散布手順を9つの行動に分け,VR上でも同じ一連の操作を行いました.ボタン操作の前後に頭をどこへ向けるか,曲がるときにハンドルをどのように切るかを比較しました.

VR実験の条件
参加者10名
年齢22~26歳
事前練習操作練習2回,約10分
評価する操作計9行動
比較する作業実車の約3分間の散布作業
実車の走行速度約3.6 km/h
比較した行動の例
走行開始散布開始位置への移動とハンドル操作
右側散布右向きノズルの開始・停止
上方散布中央ボタンで高い樹木への散布を開始・停止
確認動作窓・ミラー・操作ボタンへの視線移動
記録ELANによる動画と時系列情報の統合

出典:論文 Section IV.参加者はVR/MRの操作に慣れた人であり,熟練農業従事者の技能向上を直接測った実験ではありません.

05 / RESULTS

運転行動の傾向は似ているが,操作感には違い

ハンドルを切る動きは,VR参加者と実車運転者で全体的な傾向が似ていました.また,散布ボタンを操作する際の頭の上下・左右の動きにも類似した特徴が見られました.

VR参加者10名と実車運転者のハンドル回転角度の比較グラフ
論文 Fig. 10より:操作1におけるハンドル角度.赤線は実車運転者,その他はVR参加者.
散布ボタン操作時の頭部ピッチとヨーの変化グラフ
論文 Fig. 11より:ボタン操作時の頭部ピッチ角(左)とヨー角(右)の比較.
比較から分かったこと
対象観察された傾向残る課題
ハンドル操作VRと実車で回転の大まかな傾向が共通実車は4輪操舵,VR車両は2輪操舵
頭部姿勢ボタン操作時のピッチ・ヨーの変化が類似確認・操作するタイミングには個人差
散布ボタン必要な操作手順をVRで練習可能実車は物理ボタン,VRは空中の仮想ボタン
運転感覚基本的な操作の再現に成功身体に伝わる動きと視野の再現を改善する必要

出典:論文 Section IV–V.論文は類似傾向を示しており,技能向上率や訓練効果を定量的に証明したものではありません.

運転訓練だけでなく,操作パネルの改良にも

VRで車両の基本操作と散布手順を体験し,頭部姿勢やハンドル入力を分析できることを示しました.将来は農薬の無駄な散布量の表示や,ハンドル周辺へのボタン集約を進め,実用的な訓練・操作支援を目指します.

PUBLICATION · 2021

Development of a VR Simulator for Speed Sprayer Operation Training

Yu Tanaka, Oky Dicky Ardiansyah Prima, Katsuyoshi Hotta, Kanayo Ogura, Koichi Matsuda, Shoichi Yuki
International Journal on Advances in Software, Vol. 14, No. 1 & 2, pp. 151–161 (2021).
Collaboration: Iwate Prefectural University × YAMABIKO Corporation.