1
顔の3D姿勢を取得
8点の顔ランドマークと3D顔モデルから，頭の回転と位置を推定．
Human Interface · Eye Tracking · 2018
顔が動いても，
視線を捉え続ける．
専用センサーを装着せず，一般的な可視光Webカメラで視線を計測する．頭部の向きが変わっても注視点を推定できる技術．
頭部姿勢の変動を考慮した可視光線非接触型の視線計測システムの開発 — 顔の3D形状と虹彩中心を使い，頭の動きを補正します．
REMOTE EYE TRACKINGVISIBLE-LIGHT CAMERAHEAD-POSE COMPENSATION
01 / MOTIVATION
視線計測を，もっと身近なインターフェースに
従来の視線計測には，赤外線の専用機器や頭部への装着装置を必要とするものがあります．市販のWebカメラを使えば，より手軽に利用できますが，顔の向きが変わると虹彩の位置が変わり，注視位置を正しく推定することが難しくなります．
本研究では，3D顔モデルによる頭部姿勢推定と虹彩位置の補正を組み合わせ，通常のカメラで視線を追跡する方法を開発しました．
目標は，画面上の「どこを見ているか」を，頭の動きがある状況でも推定することです．
02 / METHOD
顔の向きを補正し，虹彩の中心を推定
まず顔のランドマークから頭部の3D姿勢を求めます．次に，斜めから見た目領域を幾何学的に正面に近い形へ復元し，虹彩の輪郭を円に当てはめて中心を検出．最後に頭部姿勢に合わせて視線方向を補正します．
2
目領域を正面化
ホモグラフィ変換で斜め視点による歪みを除去します．
3
虹彩から視線を計算
虹彩を円で近似し，頭部動き補償を適用して注視点を算出．
視線計測アルゴリズムの構成
| 処理 | 採用した方法 |
|---|---|
| 顔検出 | MMOD |
| 顔ランドマーク | アンサンブル回帰木によるFaceTracker |
| 頭部姿勢推定 | OpenCV Camera Calibration・Solve PnP |
| 目領域の補正 | 3D顔モデルとホモグラフィ変換 |
| 虹彩候補抽出 | 反復大津の2値化・最大blob選択 |
| 虹彩中心推定 | Taubin法による円当てはめ |
| 注視点計算 | 両眼虹彩中心と頭部姿勢から視線を推定し，画面と交差させる |
03 / EXPERIMENTS
頭部の上下・左右の動きを変えて検証
2つの実験を実施しました．最初に21台のカメラで目領域の補正精度を確認し，次に頭部の向きを±20°まで変化させて，9つの視標への注視位置を計測しました．
実験1：目領域の復元
| 被験者 | 学生3名（20～23歳） |
|---|---|
| 装置 | Webカメラ21台（3×7配列） |
| 撮影 | 640×480 px，30 fps |
| 目的 | 多方向の画像から抽出した虹彩中心のばらつきを評価 |
実験2：視線計測精度
| 被験者 | 学生11名（20～25歳，眼鏡着用4名） |
|---|---|
| カメラ | ノートPC内蔵Webカメラ 640×480 px，30 fps |
| 視標 | 画面上9点，各2秒注視 |
| 頭部変化 | 上下・左右とも5°刻みで±20° |
| 観察距離 | 50 cm |
ソフトウェア実行・処理速度
| 項目 | 実験時の設定・結果 |
|---|---|
| 評価用PC | MacBook Pro 13，Core i5，8 GB RAM，macOS 10.12.4 |
| 処理時間 | 平均23.1 ms／フレーム |
| 計算速度 | 約43 fps相当 |
計算処理の平均時間から算出した速度です．Webカメラ自体の撮影速度は30 fpsです．
04 / RESULTS
頭部が小さく動く範囲では，約2°の誤差
校正後に頭部の上下方向・左右方向を変化させ，注視位置の平均誤差を評価しました．誤差は小さいほど良好です．
頭部姿勢の変化別・平均視線誤差
| 頭部の動き | 正面0° | ±5° | ±10～20° |
|---|---|---|---|
| 上下（Pitch） | 1.39° | 1.75° | 2.26° |
| 左右（Yaw） | 1.39° | 2.19° | 3.53° |
出典：論文 表3．平均視線誤差（論文のaccuracy）は注視点と視標の角度差を表します．左右に大きく向く場合ほど誤差が増えました．
虹彩中心の検出方法による校正結果
| 方法 | 平均校正誤差 | 計測のばらつき |
|---|---|---|
| 提案方式（円当てはめ） | 1.213° | 0.152° |
| 比較方式（楕円当てはめ） | 1.410° | 0.165° |
出典：論文 表2．眼を抽出する際に一部が瞼やまつ毛に隠れても，円当てはめが安定する例を確認しました．
通常のWebカメラでも，頭部動きを考慮した視線入力の可能性
頭部の回転が比較的小さい範囲では良好な視線推定が得られ，一般的なWebカメラを使う視線入力の可能性が示されました．一方，大きな左右回転では精度が低下し，眼鏡フレームが虹彩に重なる条件では一部の被験者データを除外しています．検証は顎台を用いた制御環境であり，日常の自由な頭部運動で同等の精度を保証するものではありません．
PUBLICATION · 2018
頭部姿勢の変動を考慮した可視光線非接触型の視線計測システムの開発
今渕貴志，プリマ・オキ ディッキ・アルディアンシャー，伊藤久祥，亀田昌志
画像電子学会誌 Vol. 47, No. 1（2018），pp. 31–40．
English: Head-Movement Compensation for Visible-Spectrum Remote Eye Tracker.