ニュース

三菱電機、外国人とのコミュニケーションを円滑にする「しゃべり描きアプリ」を開発

 三菱電機は、話した言葉を指でなぞった軌跡に沿って表示できる、タブレット/スマートフォン向けの音声認識表示技術「しゃべり描きUI(ユーザーインターフェース)」を開発。さらに同インターフェース技術を活用した例として、お絵かきモードや多言語翻訳など、複数機能を組み合わせた「しゃべり描きアプリ」をプレス向けに公開した。

「しゃべり描きUI」では、指でなぞった軌跡に、文字が表示されていく
「しゃべり描きアプリ」で、指でなぞった軌跡に、文字が表示される様子

 「しゃべり描きUI」を組み込んだ「しゃべり描きアプリ」には、多言語翻訳や手書き文字認識のほか、画像表示や対面2画面表示などの多彩な機能を搭載。アプリをインストールした端末に話す/書く/描くなど、多様な方法で意思を表現できるのが特徴だ。

多言語翻訳や手書き文字認識のほか、画像表示や対面2画面表示などの多彩な機能を、「しゃべり描きUI」と組み合わせることで、様々なシーンでコミュニケーションを円滑にする
写真やイラストを表示でき、例えば地図を描きながら説明することも可能に。
現在の仕様では、日本語や英語、中国語など10カ国語に対応する
対面モードでドイツ人と会話をしているところ。「お土産はどこに売っていますか」と日本語で話しかけると、音声認識で文字が表示される。ほぼ同時に、相手の画面エリアの同じところにドイツ語に翻訳された文字が表示される

 同社によれば、「しゃべり描きUI」を組み込んだ「しゃべり描きアプリ」により、外国語や手話ができなくても聴覚障がい者や外国人と、円滑なコミュニケーションが可能になるという。

外国語や手話を習得するのは大変だが、「しゃべり描きアプリ」のようなツールがあれば、誰もが簡単に外国人や障がい者とコミュニケーションできる
シンプルで直感的なインターフェースなので、だれもが使い始めやすい

「今後は、用途ごとに最適化されたUIを作っていきたい」

三菱電機 デザイン研究所 平井正人氏

 開発を担当した、同社デザイン研究所の平井正人氏は、「しゃべり描きUI」とそれを応用した「しゃべり描きアプリ」について、次のように語った。

 「一般的な手描きアプリなどは、画面の横や下にたくさんのツールバーが表示されていることが多いです。さらに音声認識モードや手描き認識モードなどを切り替えてから書き始めるなど、煩雑な操作が必要なので、使い方を覚えるのが大変です。

 一方、『しゃべり描きアプリ』では、できるだけメニューなどを表に設置しないUIで設計し、メモ帳やノートなどに書くようなシンプルさを目指しました。指で画面をなぞれば手描きモードに、長押しすれば音声認識モードに、ダブルタップすれば文字認識機能モードに変わるという、非常に簡単な操作で切り替えられるんです」

だれもが外国人と簡単に、コミュニケーションできる

 煩雑な操作を必要としないUIによって、より素早く、シームレスにコミュニケーションできるようになる。

 また複数モードを用意することで、例えば音声認識がどうしてもうまく機能しない場合には、即座に文字認識機能で意思を伝えるなども可能に。より実用度の高いコミュニケーションツールになったといえるだろう。

 平井氏に今後の可能性について尋ねた。

 「今回は、さまざまなことが可能なアプリにしましたが、もし外国人とコミュニケーションするためだけのアプリだったり、聴覚障がいのある方とのコミュニケーションに特化したりするのなら、それぞれ違うUIになるかもしれません。あるいは駅員さん向けや薬剤師向けなど、使い方によって適したUIがあると思います。そうした最適化したUIやアプリを作れればと思います

 さらに今後は、離れた場所にいる人同士でのコミュニケーションにも活用したいです。例えば、社内で挙がった希望では、海外にいる開発者と東京にいる設計者が、図面を表示しながら『図面のこの部分の寸法をコレに変えたい』などとやり取りできるようにして欲しいというのがありました。このUIは、そうした使い方にも対応できます。やりたいことはたくさんあるんです」

 なお、同アプリは2016年中に、実証実験を始める予定。デザイン研究所長の杉浦博明氏は、「具体的なビジネスモデルをこれから考えなければいけません。弊社の既存製品に組み込んだり、他社のパートナー様を見つけて一緒に製品を開発したり、色々な展開を考えていきたい」としつつ、「一方で、社会貢献という意味で、役立つアプリを提供することも大事なこと」と語った。

(河原塚 英信)