三菱電機、外国人とのコミュニケーションを円滑にする「しゃべり描きアプリ」を開発

　三菱電機は、話した言葉を指でなぞった軌跡に沿って表示できる、タブレット/スマートフォン向けの音声認識表示技術「しゃべり描きUI(ユーザーインターフェース)」を開発。さらに同インターフェース技術を活用した例として、お絵かきモードや多言語翻訳など、複数機能を組み合わせた「しゃべり描きアプリ」をプレス向けに公開した。

「しゃべり描きUI」では、指でなぞった軌跡に、文字が表示されていく

　「しゃべり描きUI」を組み込んだ「しゃべり描きアプリ」には、多言語翻訳や手書き文字認識のほか、画像表示や対面2画面表示などの多彩な機能を搭載。アプリをインストールした端末に話す/書く/描くなど、多様な方法で意思を表現できるのが特徴だ。

多言語翻訳や手書き文字認識のほか、画像表示や対面2画面表示などの多彩な機能を、「しゃべり描きUI」と組み合わせることで、様々なシーンでコミュニケーションを円滑にする

写真やイラストを表示でき、例えば地図を描きながら説明することも可能に。

現在の仕様では、日本語や英語、中国語など10カ国語に対応する

　同社によれば、「しゃべり描きUI」を組み込んだ「しゃべり描きアプリ」により、外国語や手話ができなくても聴覚障がい者や外国人と、円滑なコミュニケーションが可能になるという。

外国語や手話を習得するのは大変だが、「しゃべり描きアプリ」のようなツールがあれば、誰もが簡単に外国人や障がい者とコミュニケーションできる

シンプルで直感的なインターフェースなので、だれもが使い始めやすい

「今後は、用途ごとに最適化されたUIを作っていきたい」

三菱電機 デザイン研究所 平井正人氏

　開発を担当した、同社デザイン研究所の平井正人氏は、「しゃべり描きUI」とそれを応用した「しゃべり描きアプリ」について、次のように語った。

　「一般的な手描きアプリなどは、画面の横や下にたくさんのツールバーが表示されていることが多いです。さらに音声認識モードや手描き認識モードなどを切り替えてから書き始めるなど、煩雑な操作が必要なので、使い方を覚えるのが大変です。

　一方、『しゃべり描きアプリ』では、できるだけメニューなどを表に設置しないUIで設計し、メモ帳やノートなどに書くようなシンプルさを目指しました。指で画面をなぞれば手描きモードに、長押しすれば音声認識モードに、ダブルタップすれば文字認識機能モードに変わるという、非常に簡単な操作で切り替えられるんです」

だれもが外国人と簡単に、コミュニケーションできる

　煩雑な操作を必要としないUIによって、より素早く、シームレスにコミュニケーションできるようになる。

　また複数モードを用意することで、例えば音声認識がどうしてもうまく機能しない場合には、即座に文字認識機能で意思を伝えるなども可能に。より実用度の高いコミュニケーションツールになったといえるだろう。

　平井氏に今後の可能性について尋ねた。

　「今回は、さまざまなことが可能なアプリにしましたが、もし外国人とコミュニケーションするためだけのアプリだったり、聴覚障がいのある方とのコミュニケーションに特化したりするのなら、それぞれ違うUIになるかもしれません。あるいは駅員さん向けや薬剤師向けなど、使い方によって適したUIがあると思います。そうした最適化したUIやアプリを作れればと思います

　さらに今後は、離れた場所にいる人同士でのコミュニケーションにも活用したいです。例えば、社内で挙がった希望では、海外にいる開発者と東京にいる設計者が、図面を表示しながら『図面のこの部分の寸法をコレに変えたい』などとやり取りできるようにして欲しいというのがありました。このUIは、そうした使い方にも対応できます。やりたいことはたくさんあるんです」

　なお、同アプリは2016年中に、実証実験を始める予定。デザイン研究所長の杉浦博明氏は、「具体的なビジネスモデルをこれから考えなければいけません。弊社の既存製品に組み込んだり、他社のパートナー様を見つけて一緒に製品を開発したり、色々な展開を考えていきたい」としつつ、「一方で、社会貢献という意味で、役立つアプリを提供することも大事なこと」と語った。