【CES 2020】パナソニック、HomeXをより進化させる「ユーザー行動の自動認識」デモを展示

　パナソニックは、1月7日から10日(現地時間)にアメリカ・ラスベガスで開催したコンシューマー・エレクトロニクス・ショー「CES 2020」で、HomeXの未来と、ユーザー行動を自動認識する仕組みのデモ2つを展示した。

　HomeXで、家電や住宅設備、サービスがシームレスに連携し、より快適で便利な暮らしを実現するには、ユーザー行動を自動認識する必要があるとした。そのためには、タッチポイントのソフトウェア面での強化が必要であるという。

HomeXの基本的なアプローチ。家電などをシーンに応じて自動的に便利に使うためには、タッチポイントの強化による、ユーザー行動の理解が必要となる

　すでに行われているIoT化により、家電製品などはハードウェア的に豊富な機能を備えているものも多い。たとえば、オーブンレンジなどは、内蔵の調理メニューに加え、インターネット上から豊富な調理メニューをダウンロード可能だ。しかしユーザーは、自分が作ろうとしている料理が内蔵メニューにあると知らなかったり、調理メニューが豊富すぎて探せなかったり、知っていても使うのが面倒でオーブン以外で調理していることもある。

　家電製品のもつこれらメニューを、これから作ろうとしている料理に応じて利用してもらおうと考えたとき、ユーザーが作ろうとしている料理が何なのかが分かれば、調理メニューを自動でセットでき、ユーザーはスタートボタンを押すだけで良くなる。つまり、AIによるユーザー行動の自動認識が必要だ。

　ユーザー行動を自動で認識するには、タッチポイントの強化が必要となる。クラウドなどと連携させたカメラを中心にユーザーの行動を把握しなければならない。例えば、キッチンに調理済みのトンカツが見えれば「今日は、トンカツですか? オーブンレンジに温めメニューを設定しますか」といった具合に、調理メニューをユーザーへレコメンドでき、ユーザーはスタートボタンを押せばすぐに利用できる。

ユーザー行動の理解には、ハードウェア、ソフトウェア、タッチポイントなどを階層化して考える必要がある

　ユーザー行動を収集・解析することで現状を把握し、さらには次の行動を推測できるAI(＝ソフトウェア)が充実すれば、例えば毎週日曜日にサッカーへ行く子供がいる家庭であれば、子供が帰ってくる時間に、お風呂が自動的に沸いており、帰宅した子供に対して、玄関で「おかえり、お風呂が沸いてますよ」と告げつつ、洗濯機は自動で泥汚れモードとなっており、入浴前に洗濯機へ着衣を放り込めば、洗濯されるといった状態も実現可能となる。

　CESでは、HomeXがユーザー行動を把握し、次の行動を予測できるようになった暮らしを再現した芝居形式のデモと、ユーザー行動のを把握する方法の例として2つの展示を行なっていた。

　芝居形式のデモでは、ユーザーの行動に応じて「ユーザーがスポーツニュースを聞いていると、壁に試合状況や結果などが自動で投影される」「ユーザーが食事をするときは料理を保温できるテーブルがあり、それぞれのメニューに関する情報とその食事に合うワインがレコメンドされる」「レコメンドされたワインはすぐに入手でき、ワインが揃うと、雰囲気のある照明に切り替わる」「食卓で旅行へ行く話していると、その土地の名所などが壁に投影される」といった具合に、住まいが自動で必要な情報を表示したり、レコメンドを行なってくれる暮らしが表現されていた。

ユーザーがスポーツニュースを聞いていると、壁に試合状況や結果などが自動で投影される

ユーザーが食事をするテーブルは保温機能付き。それぞれのメニューに関する情報と、その食事に合うワインがレコメンドされる

レコメンドされたワインがすぐに入手でき、ワインも揃ったところで、雰囲気のある照明に切り替わる

食卓で旅行へ行こうかと話していると、その土地の名所などが壁に投影される

　カメラによりユーザーの行動を分析・把握するデモは、上部にカメラを内蔵するディスプレイの前に立つと、そのユーザーの人型と「立っている」という状態が表示される。座れば「座っている」、手を上げれば「手を上げている」、スマホを持てば「スマートフォンを持っている」、マグカップを持てば「マグカップを持っている」というように表示も追従して変化する。

ユーザーの1人がスマートフォンを操作し、もう1人がマグカップを持っている

目の前のディスプレイには、それぞれのユーザーの状態が自動で表示される

スマートフォンを持っているユーザーがスマホ操作をやめると「立っている」に表示が変わった

立っているユーザーが手を上げた

2人とも座っている状態

ユーザーの行動は、ディスプレイ上部のカメラで読み取っている

　もう1つのデモは、大きなディスプレイの前で2人が並んでヨガを行なうというもの。ディスプレイに表示されたヨガのポーズを行なうと、筋肉への負荷がリアルタイムで表示され、またヨガの実施後はその人の感情がチャートで表示される。デモはヨガのレクチャーが目的ではなく、「運動による筋肉の負荷」「表情から読み取った感情」を示せることにある。

ディスプレイの前で、画面中央の姿勢に従ってユーザーがヨガを行なう

姿勢に応じて、筋肉への負荷が表示される。負荷は、ピンク～赤で表示。肩と足が少しピンク色になっている

ヨガが終わると、ユーザーの感情が表示される

　筋肉の負荷については、映像によりユーザーの骨格を推定し、動きにより姿勢を判定。骨格と姿勢を、あらかじめ作成しておいた年齢・性別に応じた体格・骨格と筋肉負荷のデータベースに照合し、筋肉の負荷を色で表示しているという。

ディスプレイ下側のカメラでユーザーの骨格や動きを読み取る

年齢・性別に応じた体格・骨格と筋肉負荷のデータベースと照合し、筋肉負荷を表示する

　表情については、こちらもまばたきの回数、目の動きや表情などから、感情の状態をデータベース化しておき、ヨガの最中のこれらを読み取った上で、データベースと照合して、判定結果を表示しているという。

ディスプレイ左右のカメラでユーザーの表情を読み取る

感情判定に利用している要素は、疲労と緊張状態

感情状態の判定要素には、ほかにも体温や発汗などがあるという

　いずれのデモも、ユーザーの行動をさまざまな指標で分析・評価することで、できるだけ正確にユーザーの状態を認識するというタッチポイントの強化の一環。これらのデモは、ハードウェアとしてはカメラを用いたものに過ぎないが、いずれもソフトウェア面での強化により、ユーザー行動の分析、筋肉の負荷、感情を読み取ることができる。

　このように、「ユーザーのふるまい」「周囲の状況」「暮らし」の3点を、よりシームレスに統合することが、HomeXが当面で目指すものだとした。

　またHomeXの他社連携については、HomeXはあくまでもプラットフォームであるため、他社製を含むハードウェア・ソフトウェアの連携基盤として機能するとした。連携部分は「APIs」として整備されており、ハードウェア・ソフトウェアに対するそれぞれのAPIを備える。ただし現状は、ハードウェア面では電源のON/OFFだけで良いのか、電源ONと同時に温度設定まで行なうのかといった粒度が製品ごとに異なる点、ソフトウェア面では接続だけでなく、安全に安定稼働させるため制御の点で、今後も引き続き改善を行なっていくという。

HomeXのプラットフォーム概要