1
人物の表情を撮影
6種類の基本表情を演じた顔の画像・動きを記録します．
Digital Human · Facial Expression · 2022
リアルな顔は，
感情まで伝えられるか．
人物の表情をデジタルヒューマンに転写したとき，怒り・喜び・驚きなどの表情はどこまで正確に再現されるのか．AI表情認識で検証した研究．
A Study on the Quality of Facial Expression in Digital Humans — 実写の人物と仮想人物を同じ条件で評価し，表情の再現に残る課題を明らかにしました．
DIGITAL HUMANSFACIAL EXPRESSIONMULTI-VIEW CAMERA
01 / QUESTION
見た目が似ていても，表情は伝わる？
デジタルヒューマンは，接客，医療，VRコミュニケーションなどへの利用が期待されています．しかし顔の外見が実物に近くても，微妙な表情の変化まで自然に伝わるとは限りません．
本研究では，人物の表情を仮想人物へ移し，AI表情認識が同じ感情表現として読み取るかを比較しました．これは人の主観評価ではなく，認識モデルを用いた客観的な比較の試みです．
対象は「怒り・恐怖・嫌悪・喜び・悲しみ・驚き」の6基本表情．多視点実験では無表情も評価しました．
02 / CREATION
顔の動きを取得し，デジタルヒューマンへ反映
MetaHuman CreatorとUnreal Engineを使用して人物に似せた3Dモデルを作成．iPhoneのLive Link Faceと，通常のカメラ映像から顔の動きを取得するMeFaMoを使用しました．
2
デジタルの顔へ転写
顔の動きをMetaHumanに反映し，対応する表情画像を生成します．
3
AIで判定を比較
DeepFaceとHSEmotionが実写と仮想人物の表情をどう判断するかを調べます．
画像生成・評価に使用したツール
| 役割 | ツール・技術 |
|---|---|
| デジタルヒューマン作成 | MetaHuman Creator・Unreal Engine |
| 俳優の表情取得 | Live Link Face（LLF，30 fps） |
| 多視点表情の取得 | MeFaMo（MediaPipeベース） |
| 表情認識器① | DeepFace |
| 表情認識器② | HSEmotion（enet_b2_8.pt） |
| 分析する表情 | 怒り・恐怖・嫌悪・喜び・悲しみ・驚き（多視点では無表情を追加） |
出典：論文 Section III–IV．表情認識モデルの出力は感情そのものの真値ではありません．
03 / MULTI-VIEW
21台のカメラで，顔をさまざまな方向から撮影
表情の見え方はカメラの角度でも変わります．研究では21台のWebカメラを並べ，同一人物の顔を複数方向から同時に撮影する装置を構築しました．
単一俳優の表情データ
| 協力者 | 日本人女性1名，22歳 |
|---|---|
| 表情 | 基本6表情 |
| 各表情の時間 | 5秒 |
| 撮影速度 | 30 fps |
| 画像数 | 人物・デジタルヒューマンそれぞれ計900フレーム |
多視点カメラの実験条件
| カメラ | 21台（3行×7列） |
|---|---|
| 解像度 | 640×480 px，30 fps |
| 水平方向 | −30°～+30°，10°刻み |
| 垂直方向 | −20°・0°・+20° |
| 協力者 | 17名，18～22歳 |
| 取得した顔画像 | 計2,142枚 |
04 / RESULTS
人間の表情とデジタルヒューマンの表情は，同じようには認識されなかった
俳優の表情に対するAIの判定は比較的良好な種類がありましたが，同じ表情をデジタルヒューマンへ転写すると誤判定が増えました．とくに喜び以外の表情の再現と判定に課題が見られました．
俳優1名の表情に対するHSEmotionの再現率（論文 Table III・IV）
| 表情 | 実際の人物 | デジタルヒューマン |
|---|---|---|
| 怒り | 87% | 算出不可 |
| 恐怖 | 100% | 算出不可 |
| 嫌悪 | 0% | 算出不可 |
| 喜び | 100% | 100% |
| 悲しみ | 96% | 算出不可 |
| 驚き | 73% | 算出不可 |
論文の混同行列に記載された値．デジタルヒューマンの「算出不可」は，当該表情に対応する評価フレームが表に示されずNaNになったものです．0%と同義ではありません．
多視点の人物表情における撮影方向への安定性
| 認識器 | 実写人物の多方向撮影 | 転写した仮想人物の評価 |
|---|---|---|
| DeepFace | 角度によって推定結果が変動しやすい | 多くの表情を適切に認識できず |
| HSEmotion | 水平方向の変動が比較的小さい | 表情の誤認識が目立つ |
出典：論文 Tables V–XII．ここでの「安定性」は撮影角度を変えたときの認識出力の変動の小ささで，必ずしも正答率の高さを意味しません．
実写で高性能な認識器でも，仮想の顔では課題が残る
人物の表情認識技術を，そのままデジタルヒューマンの品質評価に使うだけでは十分ではありません．論文は，実写とデジタルヒューマン双方の特徴を考慮した評価モデルの必要性を示しています．
また，研究で使ったMetaHuman画像は利用条件により再学習データへ利用できず，モデルの追加学習を行えていません．今後は適切なライセンスの表情データを用いる必要があります．
PUBLICATION · 2022
A Study on the Quality of Facial Expression in Digital Humans
Shiori Kikuchi, Hisayoshi Ito, Oky Dicky Ardiansyah Prima
International Journal on Advances in Life Sciences, Vol. 14, No. 3 & 4, pp. 110–119 (2022).