人間同士のコミュニケーションにおいて顔の情報は重要である。コンピュータも 顔の情報を容易に扱うことができれば、人間とコンピュータの関係はより親密になる だろう。
しかし画像データは一般に高次元であり、それは顔画像でも同様である。そのため、 顔画像データをそのままコンピュータで扱うのは困難であり、従来 では次元圧縮・情報集約のために主成分分析などの手法が用いられてきた。しかし 本来それらの手法は時間情報を持たないデータの解析を目的としたものであり、 時系列の顔画像のように動き情報を持つ ものが対象である場合、動き情報を有効に活用しているとは言えない。
そこで本研究では時系列顔表情に注目し、その表情の動き情報を積極的に利用した 新たな特徴集約手法を提案する。 その手法では、時系列顔表情の目、眉、唇の動きから特徴パラメータを抽出し、この パラメータ を用いて砂時計型リカレントニューラルネットによる次元圧縮を行い、 表情別の集約特徴量を抽出する。
実験対象は同一人物の３種類の表情とし、得られた 特徴パラメータを２次元まで圧縮したところ、表情別の集約特徴量を抽出することに 成功した。また、得られた集約特徴量から作られる特徴空間は、 線形の次元圧縮手法である主成分分析や階層型ニューラルネットを用いて 作られる特徴空間よりも優れていることを示した。さらに、未学習のサンプル に対しても、同様の集約特徴量が抽出できることも示した。