Mixed Reality · 3D Eye Tracking · 2021

目線が向かう先を，
3D空間で捉える．

MR空間の奥行きにある物体へ，人はどのように視線を向けるのか．両眼の動きから3D視線を推定する研究．

3D Gaze on Stationary and Moving Visual Targets in Mixed Reality Environments — 静止・移動する仮想ターゲットを使い，立体的な視線計測の方法と精度を調べました．

MIXED REALITYBINOCULAR GAZE3D EYE TRACKING

01 / MOTIVATION

画面上の「どこ」から，空間内の「どこ」へ

通常の視線計測は画面上の2D座標を調べます．しかし，Mixed Reality（MR）では仮想物体が異なる奥行きに配置され，手前と奥のどちらを見ているかも重要です．

本研究は，左右の眼球の視線方向を計測し，3D空間上の注視位置を推定するシステムを構築．物体までの距離，背景の奥行き手掛かり，見かけの大きさが測定にどう影響するかを調べました．

MRインターフェースにおける注視対象の推定や，立体的な視覚行動の分析に向けた基礎研究です．

研究で使用した両眼カメラ付き光学シースルーHMDと眼球映像 — 論文 Fig. 3より：試作した3D視線計測装置．左右の眼球映像を同時に取得します．

02 / SYSTEM

両眼カメラを組み込んだMR用トラッカー

光学シースルーHMDに小型カメラを取り付け，両眼の瞳孔位置から視線方向を推定します．左右の視線の交わりを利用して3D視線位置を計算します．

計測システムの構成

項目	論文で使用した設定
表示装置	EPSON Moverio BT-30E（光学シースルーHMD）
眼球カメラ	左右2台，各60 Hz
瞳孔計測	940 nm赤外線透過フィルター，Pupil Capture
描画・通信	openFrameworks 0.11.0，ZeroMQ
仮想物体の生成	両眼間距離を6.3 cmに設定
3D視線推定	両眼の水平・垂直視線角を多項式に変換

出典：論文 Section II–III．装置は研究目的で作成した試作機です．

眼球を撮影

左右カメラで瞳孔を検出し，眼球の向きを推定します．

視線を校正

奥行きの異なる既知の仮想点を見て，多項式の係数を求めます．

3D位置を計算

視線角度を空間座標へ変換し，注視点の軌跡を可視化します．

03 / EXPERIMENTS

背景と物体サイズを変えて比較

奥行きを感じる家具のある室内と，奥行き手掛かりの少ないスクリーン環境を比較．さらに仮想物体の大きさを変える2つの提示方式を使いました．

家具のある室内とスクリーンだけの環境を比較した写真 — 論文 Fig. 4より：奥行き手掛かりのある環境（左）と少ない環境（右）．

距離による見かけの大きさを一定にする方式と物理サイズを一定にする方式 — 論文 Fig. 5より：視角を約2°で維持する方式と，物理サイズを一定にする方式．

参加者と測定環境

参加者	男性5名，平均23.6歳
移動視標の解析	4名（1名は追跡困難で除外）
観察位置	対象の棚／スクリーンから250 cm
照度・色温度	約150 lx・5500 K
比較環境	奥行き手掛かりあり／なし

仮想ターゲットの設定

校正点	36点，4つの奥行き平面
評価用静止点	12点（75，125，175 cm）
静止点の提示	各3秒
移動点	11の位置，200 → 50 cm
移動時間	5秒（両端で各1秒停止）
物体の大きさ	視角約2°一定／物理サイズ一定

視線校正用の36点と移動ターゲット軌跡の3D配置 — 論文 Fig. 6・8より：3D校正用の視標配置（左）と，接近する移動視標の経路（右）．

04 / RESULTS

校正点での適合と，未知の点での精度は異なる

3D位置への変換には，係数45個のType Iと，視線角の制約を加えた係数22個のType IIを比較しました．校正点にどれだけ合うかと，別の位置を見たときの精度を分けて評価しています．

校正点での平均3D視線誤差（cm）

環境	ターゲットの大きさ	Type I／45係数	Type II／22係数
奥行き手掛かりあり	物理サイズ一定	17.25	24.02
奥行き手掛かりあり	視角一定	17.97	24.65
奥行き手掛かりなし	物理サイズ一定	18.11	25.21
奥行き手掛かりなし	視角一定	14.72	20.68

出典：論文 Table I．誤差は小さいほど良好．校正点ではType Iの誤差が小さく，多項式の種類の主効果は有意でした（p = .002）．

校正に使っていない静止視標での平均誤差（cm）

推定式	係数の数	平均3D誤差	評価
Type I	45	32.11 cm	校正点への適合が良い
Type II	22	26.88 cm	未使用点でより良好

出典：論文 Table II．対応のあるt検定で差が認められました（t(19) = 2.640，p = .016）．値は評価用の静止視標での結果であり，実用的な高精度を達成したことを意味しません．

複雑な式が，いつも正確とは限らない

係数の多いType Iは校正に用いた点にはよく合いました．一方，校正に使っていない静止点では，より単純なType IIの方が誤差を抑えました．3D視線計測では，未知の位置に対する再現性を確かめることが重要です．

05 / MOVING GAZE

接近する仮想ターゲットへの視線を3Dで可視化

奥から手前へ動く視標を追跡し，視線が空間内でどう移動するかを3D軌跡として表示しました．奥行き手掛かりの有無や見かけの大きさを変更しても，本実験の範囲では統計的に有意な精度差は確認できませんでした．

2人の参加者が移動ターゲットを追ったときの3D視線軌跡 — 論文 Fig. 11より：移動する視標に対する参加者2名の3D視線軌跡．色線が推定視線の変化を表します．

移動ターゲットでの条件比較

比較する要因	F値	p値	今回の結果
奥行き手掛かりの有無	0.285	.603	有意差なし
視標サイズ調整の有無	1.873	.196	有意差なし

出典：論文 Section V（各F(1,12)）．有意差なしは「影響が絶対にない」ことの証明ではありません．

研究の意義と今後の課題

試作したHMDで，MR空間の静止物体だけでなく，奥行き方向に移動する物体への3D視線を測れることを示しました．一方，評価用静止点の平均誤差は数十cmと大きく，係数推定や装置校正の改善が必要です．参加者も少数であるため，一般化には追加検証が求められます．

PUBLICATION · 2021

3D Gaze on Stationary and Moving Visual Targets in Mixed Reality Environments

Kenta Kato and Oky Dicky Ardiansyah Prima
International Journal on Advances in Life Sciences, Vol. 13, No. 1 & 2 (2021), pp. 104–113.

目線が向かう先を，3D空間で捉える．