本稿では、顔の大きな傷痕や、目、鼻、口などの顔器官の一部の欠損などが原因で顔画像センシングが困難なユーザに対して、オンサイトでのカスタマイズにより、顔検出や顔向き推定などを精度良く実施するための手法を提案する。この手法は、簡易なパラメータ設定のみを要し、顔画像処理時に画像から抽出される顔特徴量についての再学習を必要としない。元々精度良くセンシングできていた顔に対する性能や処理速度を維持しながら、カスタマイズ対象ユーザのセンシング精度を向上できる。併せて、カスタマイズおよびその精度検証に必要な顔画像データを、オンサイトに持ち運び可能な簡易な装置で、対象ユーザに大きな負担をかけることなく収集する方法も示す。実際に、人物の顔画像を用いた実験で、本提案手法の有効性を確認した。

1．まえがき

画像から人の顔を検出し、顔の向き、目開閉、視線などを推定する顔画像センシング技術は、デジタルカメラの顔オートフォーカスや、映像監視システムの人物シーン抽出など、様々な分野で人々の利便性を向上させるための重要な役割を果たしてきた^1）。
近年においても、自動車業界におけるドライバーモニタリング^2）や、生活サービス業界における高齢者見守り^3）など、各業界で顔画像センシング技術の活用がますます進んでおり、より多くの人々の安心・安全を支える技術として、一層期待が高まっている。
そのためには、ユーザに依存することなく、一人ひとりに対するセンシングが精度良く実施されることが重要である。しかしながら、ケガなどにより、顔に大きな傷痕が有る場合や、目、鼻、口などの顔器官の一部が欠損、もしくは大きく変形している場合、又は先天性の疾患などにより、顔器官の配置が平均的な位置からずれている場合などには、顔画像処理時に画像から抽出される顔特徴量と、参照される学習済みの顔特徴量との差異が大きくなり、顔画像センシングを精度良く実施することが難しくなる（表1）。
そのような場合、例えば、ドライバーモニタリングにおいては、脇見や居眠りなどの状態判定精度に影響を及ぼし、ユーザの安心・安全を担保できない。個々人の走行履歴など顔画像センシング以外の間接的情報に基づく運転状態推定の手法もあるが^4）、顔向きや目の開閉を直接センシングするわけではなく、履歴情報からの間接的な推定であるため、非常事態への対応が困難である。
そこで、対象ユーザについての顔画像センシングを精度良く実施するためのカスタマイズが必要となる。ここで、ユーザにメーカの事業所や工場などに足を運ばせることは、大きな負担感を抱かせることとなるため好ましくない。ディーラーなどオンサイトでのカスタマイズが重要である。本稿では、その実現手法について提案する。

2. 顔画像センシング技術の概要

我々の顔画像センシング技術の流れを図1に示す。静止画または動画像から顔の領域を検出する。次に、顔器官上の特徴点（目、鼻、口の端点など）を検出すると同時に、その位置関係から顔向き角度を推定する。その後、検出特徴点に基づき、各種推定処理を行う。例えば、目の特徴点周辺領域の画像情報から目開閉や視線を推定する。
我々の顔画像センシングの特長は、小型・高速（処理に要する情報量と計算量が小さい）な独自のアルゴリズムにより、メモリやCPUが非常に貧弱な組込み機器・システムにおいてもリアルタイムで高精度に動作する点である。いくつか例を挙げる。顔検出においては、図2に示すように、顔の部分的な領域の明暗差に着目した特徴量による顔／非顔の判別を、負荷の軽い大まかな処理から次第に詳細な処理へと進めていく階層構造で行うことで、画像中の大半を占める明らかに顔ではない領域を早い段階で候補から排除し、リアルタイムでの動作を可能としている^1）。また、顔器官検出・顔向き推定においても、回帰演算に基づき、様々な顔に適合可能な3次元顔モデルを2 次元の顔画像に高速にフィッティングする独自の技術によって、リアルタイム処理を可能としている^5）（図3）。

3. オンサイトカスタマイズ実現に向けた課題

顔画像センシングのオンサイトカスタマイズ実現のための重要課題として、次の2 点が挙げられる。

3.1 カスタマイズ容易なアルゴリズム

対象ユーザ向けに顔画像センシングのカスタマイズを実施するにあたって、次の点に注意しなければならない。

• 顔画像処理時に参照される学習済みの顔特徴量が、再学習で変更されると、元々精度良くセンシングできていた顔をセンシングできなくなる恐れがある。
• 対象ユーザのセンシングに特化した個別アルゴリズムを追加すると、センシングに要する処理時間が倍増してしまう。また、追加ソースコードの開発および品質保証で、都度、多くの工数と開発費を要してしまう。

以上から、簡易なパラメータ設定のみで、元々の精度や処理速度を維持しながら、対象ユーザのセンシングも精度良く実施するためのアルゴリズムの検討が必要である。

3.2 カスタマイズのための顔画像データ収集

現地で、次の目的で対象ユーザの顔画像データ収集が必要である。

• カスタマイズを実施するため。
• カスタマイズの結果、顔検出や顔向き推定などを精度良く実施できるかどうか検証するため。

とりわけ、顔向き推定の検証に際しては、顔向き角度の真値が分かっている顔画像データを取得する必要がある。そのためには、加速度（ジャイロ）センサ^6）や、複数台カメラで構成されるマルチアングル撮影装置などを使用すればよい（図4）。しかし、前者は、頭部などにセンサを装着しなければならないため、対象ユーザに嫌悪感・負担感を抱かせてしまう恐れがある。また、後者は、ディーラーなどスペースが限られた場所に大規模な装置を持ち込むことは非現実的である。
現場に持ち運び可能な簡易な装置で、対象ユーザにできるだけ負担をかけずに、顔向き角度の真値が分かっている顔画像データを収集する方法の検討が必要である。

4. 提案手法

4.1 カスタマイズ容易なアルゴリズム

提案手法の流れを図5に示す。本稿では、以下、顔画像センシングにおいて特に重要な、顔検出および顔器官検出・顔向き推定について順次説明する。

4.1.1 顔検出

アルゴリズムの概要を図6に示す。図2に示した従来の顔検出判別器に、階層毎にカスタマイズ対象ユーザの顔の特徴量を登録しておき、その登録特徴量との相関を見る処理を付加した構成とする。従来通り、入力画像から、部分的な領域の明暗差に着目した特徴量を抽出し、階層構造の顔検出判別器で顔／非顔を判別する。ここで、ある階層で「非顔」と判別されても、抽出特徴量があらかじめ登録してある対象ユーザの顔についての特徴量と相関が高ければ、「顔」候補から排除せずに次の階層へと処理を進める。これにより、対象ユーザの顔について、全ての階層で非顔と判別されることなく、精度良く検出できるようになる。また、元々精度良く検出できていた顔については、従来通りの顔検出判別器による判別処理が実施されるため、元々の精度を維持できる。
本アルゴリズムによれば、パラメータ設定は、1ないし数枚の対象ユーザの顔画像から抽出される特徴量の付加のみで、元々学習済みの特徴量についての再学習は必要ない。また、新たに追加された相関演算フローに要する計算量は、画像からの特徴量抽出や判別器による顔／非顔判別処理の1/10以下であり、リアルタイム性も維持できる。
図5に示すフローのとおり、この顔検出処理において、対象ユーザの顔の登録特徴量との相関が高いときは、対象ユーザの顔と判定し、以降、カスタマイズ対象ユーザ用の顔器官検出・顔向き推定や、目開閉、視線推定などを実行する。逆に、相関が低いときは、従来の顔器官検出・顔向き推定や、目開閉、視線推定などを実行する。

4.1.2 顔器官検出・顔向き推定

前述したとおり、我々の顔器官検出・顔向き推定は3次元顔モデルフィッティングに基づいている。表1に示すようなケースにおいて、顔器官検出・顔向き推定が困難である理由は、この顔モデルが、対象ユーザの特定の顔器官部位へ適合できず、フィッティングが困難であるためと考えられる。例えば、右目に恒常的に白い眼帯を装着している場合、右目の部分のモデルが、右目の領域以外のところに誤ってフィッティングしてしまい、結果として、顔モデル全体のフィッティングがうまくできなくなる。そのため、特定部位の特徴量を使用せずにフィッティングすることが考えられるが、特徴点が少なくなる分だけ、安定性を欠いてしまう。
そこで、我々は、図7に示すアルゴリズムを提案する。最初は、特定部位の特徴量を使用せずに、3次元顔モデルフィッティング処理をする。ここで、特定部位を除く全ての部位のフィッティング信頼度が所定の閾値以上の場合、特定部位も含めて精度良くフィッティングできたとみなし、次フレームからは、安定性を高めるため、以下に述べるような前フレームの結果をベースとする処理に移行する。
まず、前フレームのフィッティング結果から、画像上における特定部位の位置を推定し、画像加工により特徴量を補完する。これは、15ないし30フレーム/秒の動画においては、各顔器官点位置の1フレーム毎の動きは微小であるとみなせることを利用している。例えば、特定部位が右目の場合、前フレームのフィッティング結果から、画像上における右目の位置を推定し、その位置をあたかも目のように黒く塗りつぶす画像加工を施し、特徴量を抽出する。これにより、従来の（特定部位の特徴量も使用する）3次元顔モデルでのフィッティングが可能となり、安定して精度良く顔器官を検出し、顔向きを推定できる。
本アルゴリズムによれば、パラメータ設定は、対象ユーザの特定部位の登録のみで、元々の3次元顔モデルについての再学習は必要ない。また、新たな追加処理は、特定部位についての限定された小さな領域の画像加工のみであり、リアルタイム性も維持できる。

4.2 カスタマイズのための顔画像データ収集

データ収集システム構成を図8に示す。TOF（Time Of Flight）カメラなど、距離（深度）画像と2次元画像を同一視点で取得可能な撮像装置を用いて、対象ユーザに少しずつ（約5 ～ 10°刻みで）上下左右に顔向きを変えてもらいながら、順次、以下のデータの対を同一視点で取得していく。

• 対象ユーザの距離（深度）画像データ
• 対象ユーザの2次元顔画像データ

そして、取得したデータ対から得られる顔器官上の特徴点（目、鼻、口、耳の端点など）の3次元位置データを用いて、各2次元顔画像データにおける顔向き角度の真値を算出していく。まず、基準画像とその顔向き角度を定める。例えば、想定アプリケーションにおけるカメラ（センサ）とユーザの位置関係が正対の場合、任意の正面顔画像を基準画像とし、その顔向き角度をヨー角（顔向き左右角）0°、ピッチ角（顔向き上下角）0°と定める。次に、図9に示すとおり、顔向き角度が近い2枚の画像間で、任意の3点以上の共通特徴点をテンプレートマッチングにより対応付け、それらの特徴点から成る平面（顔向き平面とは異なってもよい）の法線の相対ベクトル、すなわち、顔向きの相対角度を最小2乗法で算出する。以降、画像を切替えながら、順次、この顔向き相対角度算出処理を繰り返していくことで、各2次元顔画像データの顔向き角度真値を算出できる。ここで、顔の向きに依り、顔向き角度が近い2枚の画像間での共通特徴点が異なる。例えば、正面顔では両目や口が共通特徴点となるが、斜め顔では片目が見えづらくなるため、もう片方の目や口に加えて耳などが共通特徴点となる。このように、顔の向きに応じて、適宜、特徴点を切替えて、顔向き角度真値を算出する。
本提案手法によれば、カメラ1台のみのシステム構成のため、現場に容易に持ち運び可能である。また、対象ユーザは撮影時に顔向きを変えるだけでよく、極力負担を抑えた中で、顔向き角度の真値付きの顔画像データが得られる。

5. 実験

提案手法による顔画像センシングのオンサイトカスタマイズの有効性を評価するために、以下の実験を行った。なお、本実験では、アプリケーションとしてドライバーモニタリングを想定した。車両のダッシュボード中央に設置されたカメラでユーザを斜め方向からモニタリングすることを模擬し、ヨー角右向き25°、ピッチ角上向き10°の顔向き角度の画像を真値導出時の基準画像とした。

5.1 真値導出の評価

最初に、オンサイトで取得した対象ユーザの距離（深度）画像と2次元顔画像のデータ対から、顔向き角度真値が精度良く導出されるかを評価するために、マネキンを用いて実験を行った。まず、図10（a）に示すように、マネキンヘッドを多軸可動な精密ステージ上に置き、図8のデータ収集システム構成におけるユーザの場所に配置する。次に、10°刻みで上下左右にマネキンの顔向き角度を変えながら、データ対を取得し、提案手法に従い、各2次元顔画像における顔向き角度を算出する。そして、各々、精密ステージの角度と比較する。
図10（b）に実験結果を示す。グラフの横軸は参照値（精密ステージの角度）、縦軸は実測値（算出された顔向き角度）を示している。ピッチ角、ヨー角ともに、細線で示した傾き45°の理想直線上にプロットが集中しており、顔向き角度が精度良く算出されていることが分かる。
以上より、カスタマイズ結果検証の際に、提案手法により算出された顔向き角度を真値として参照することの有効性を確認できた。

5.2 カスタマイズの有効性の評価

次に、実際に、人物について、提案手法によるカスタマイズを実施し、顔検出や顔向き推定を高精度化できるかどうかを評価するために、図11に示す2ケースについて実験を行った。ケースAが顔に大きな痕があるケース、ケースBが顔器官の一部が欠損しているケースである。前者は、被験者の右目のすぐ下に直径3cmの灰色の色票（マンセルシート）を付けて大きな痕を模した。後者は、被験者の右目に眼帯を装着した。
実験では、まず、被験者に上下左右に徐々に顔向きを変えてもらいながら、距離（深度）画像と2次元顔画像のデータ対の動画を取得する。そして、動画から顔向き約10°刻みでデータ対の静止画を抽出し、5.1の実験と同様に、各2次元顔画像における顔向き角度を算出する。本実験では、この値を顔向き角度真値とする。次に、提案手法に従い、カスタマイズ（パラメータ設定）を行う。具体的には、1ないし数枚の2次元顔画像から顔検出用の特徴量を抽出して登録し、また、顔器官検出・顔向き推定用の特定部位登録を行う。本実験では、2ケースともに、正面顔と斜め顔の画像から顔検出用の特徴量を抽出して登録し、また、特定部位として右目を登録した。最後に、データ対の動画のうち、2次元顔画像データを用いて、提案手法による顔画像センシング処理によって顔向き角度を求め、上記の顔向き角度真値と比較する。なお、顔向き角度を精度良く推定するためには、前段処理の顔検出が高精度で実行される必要があることから、本実験では、顔向き角度の比較評価をすることで、顔検出の評価も包含されるとみなす。また、顔向き角度を誤差±5°以内で推定することを目標とした。
図12に実験結果を示す。グラフの横軸は顔向き角度真値、縦軸は実測値を示している。また、図13に顔画像センシング結果例を示す。ここで、赤枠が顔検出結果、黄丸の各点が顔器官検出結果、そして、黄色の長方形が目の開閉度合の推定結果を表している。
ケースAにおいては、カスタマイズ無しの場合、図13（a）に示すとおり、大きな痕の影響で右目付近のフィッティングがずれてしまう傾向にあったが、提案手法では図13（b）に示すとおり改善された。結果として、図12（a）に示すとおり、ピッチ角、ヨー角ともに、細線で示した傾き45°の理想直線に対して、各計測点が誤差±5°以内にプロットされており、顔向き角度が精度良く推定できていることが分かる。一方、ケースBにおいては、カスタマイズ無しの場合、眼帯の影響で顔検出できなかったが、提案手法では図13（c）に示すとおり、顔検出できるように改善されており、さらに、図12（b）から、誤差±5°以内で顔向き角度を推定できていることが分かる。
以上より、提案手法による顔画像センシングのオンサイトカスタマイズの有効性を確認できた。

（同意書により画像利用許諾確認済）

6．むすび

以上、本稿では、顔の大きな傷痕や、目、鼻、口などの顔器官の一部の欠損、大きな変形などが原因で顔画像センシングが困難なユーザに対して、オンサイトカスタマイズにより、顔検出や顔向き推定などを精度良く実施できるようにするための手法を提案した。
提案手法によれば、簡易なパラメータ設定のみで、カスタマイズ対象ユーザの顔画像センシングの高精度化が可能であり、さらに、このときの顔向き推定などの精度検証を信頼性高く実施できることを確認した。また、パラメータ設定や検証に必要な顔画像データを、オンサイトに持ち運び可能な簡易な装置で、対象ユーザに大きな負担をかけることなく収集する方法を確立した。
今後の課題としては、次のような項目が挙げられる。

• 安定性向上：カスタマイズ対象ユーザの様々な動作に依らず、顔器官点や顔向きなどの安定した検出／推定（顔を手で掻く、鼻や口など顔の一部を手で覆い続ける動作など）
• ロバスト性向上：カスタマイズ対象ユーザの様相が、オンサイトでの顔画像データ収集時と大きく異なる際の頑健性向上（マスクやサングラスの着用など）
• 精度検証の信頼性向上：真値として参照する計測データ導出時に、特徴点を抽出し難い場合への対策（髪の毛で耳が隠されている場合など）

今後、これらの課題に対して改善を進めていき、ドライバーモニタリングの他、工場での作業者の疲労度センシングや、ヘルスケアのための人の状態理解など様々なフィールドへ技術展開していきたいと考えている。

参考文献

1）

今江文一，露口卓也，遠藤伸司，山元昌史．顔検出技術のハードウェア化．Omron Technics. 2007, Vol.158, p.90-94.

2）

日向匡史，木下航一，青位初美，濱走秀人，山下隆義，藤吉弘亘，諏訪正樹，川出雅人．“時系列Deep Learningを用いたドライバの運転復帰可否レベル推定”．画像の認識・理解シンポジウム（MIRU）．2016, No.PS1-63.

3）

オムロン株式会社．“見守りカメラセンサ『家族目線』”．
https://plus-sensing.omron.co.jp/kazoku-mesen/（参照 2019-11-01）.

4）

パナソニックIPマネジメント株式会社．情報処理システム，情報処理方法，およびプログラム．特開2018-97804.2018-06-21.

5）

木下航一，小西嘉典，勞世竑，川出雅人．“3Dモデル高速フィッティングによる顔特徴点検出・頭部姿勢推定”．画像の認識・理解シンポジウム（MIRU）．2008, p.1324-1329.

6）

内田奈穂子，胡振程，董延超．“単眼距離カメラを用いた顔向きの推定”．情報処理学会研究報告．2014, Vol.2014-MBL-73,No.18/Vol.2014-ITS-59, No.18.