CLOSE

当社にご興味をお持ちいただきましてありがとうございます。
以下メニューより選択いただきお進みください。
Thank you for your interest in NTT laboratories. Please select from the menu below and proceed.

Click here for new registration
on My Page for new graduates

2022年3月までに四年制大学・大学院修士課程・大学院博士課程を卒業(修了)見込みもしくは卒業(修了)済みの方が対象となります。
This entrance is for those who are graduated from a four-year university or completed a master’s/doctor’s program by March 2022.

Click here if you have already registered
for the Career Education Event My Page

すでにキャリア教育イベントマイページへご登録済みの方は、キャリア教育イベントマイページへログインいただき、新卒採用マイページへの移行をお願いいたします。
If you have already registered for Career Education Event My Page, please log in to Career Education Event My Page and move from Career Education Event My Page to New Graduate Recruitment My Page.

研究所紹介

旬な研究

超高臨場UXサービスの実現

サービスエボリューション研究所
外村 喜秀、柿沼 弘員、巻口 誉宗、堤 公孝

これまでにない新しい臨場感メディアKirari!

「“Kirari! ”は新しいメディアをつくろうという試みです」
超高臨場感通信技術であるKirari! について外村はまずそう話してくれた。
「今までラジオ、テレビ、Webなど、さまざまなメディアが生まれて社会に届けられてきました。Kirari! はその先の、さらに新しいメディアとなることをめざしています」(外村)
Kirari! が何であるかを説明すれば、「新たな感動を生む高臨場UXサービス」ということになる。けれどその臨場感については辞書的な言い回しでは伝わりづらい。体育館や競技場、ステージで行われるパフォーマンスの映像・音声など、さまざまな情報を「収集」し、それをリアルタイムに同期して「伝送」、そして遠隔地でその空間を丸ごと「再現」する。遠く離れた場所での競技やライブをすっかりそのまま再現して味わえるメディア、それがKirari! だ。

リアルタイムに背景から人物を切り出す/
メガネのいらない3D映像

遠く離れた舞台に立つ役者が、まるで自分の目の前のステージに立っているような臨場感を実現するには、背景から役者だけを切り出した映像を用意する必要がある。しかもリアルタイムに。柿沼は、深層学習のアルゴリズムを活用して、グリーンバックなどの環境を用いずにカメラの映像から対象の人物のみをリアルタイムに抽出する画像処理技術を研究。ニコニコ超会議の「超歌舞伎」ではすでに、舞台上の演者のさまざまな立廻りを背景から切り出してリアルタイム抽出することに成功している。
「赤外光カメラやステレオカメラを用いて、インプットの情報を増やせば、対象者と背景を切り分ける深層学習の材料も増えるので精度は上がります。けれど組み合わせる情報が多ければ多いほどリアルタイムに処理するのが難しくなります。精緻に人物だけを抽出できなければ臨場感は減少してしまいますから、さらに正確な抽出が実現できるように努力しています」(柿沼)
巻口は競技をするスポーツ選手などの映像を、3D用のメガネを装着しなくても、どんな角度からでも立体に見えるような3D映像表示技術の確立に励んでいる。
「特別なスクリーンと複数のプロジェクタを活用して、例えばサッカーなどのスポーツイベントを、目の前のテーブルの上であたかもミニチュアの選手達がプレーしているかのように3D映像で表示する技術を研究しています。重なり合う映像の輝度を人間の視覚メカニズムに合わせた比率に調整し、最新光学メカニズムでそれを再現することで、従来の3D映像に比べて1/10程度の数のプロジェクタで3D映像を実現し、さらに全方位から見ても映像が歪まない投影構造も実現しました」(巻口)

すぐそばまで飛び出す音響/
あらゆる情報を完全に同期

堤が進めるのは音声の臨場感に関する研究だ。
「これまでは横や縦に『動く』音響をつくることはできても、それが近くまで飛び出してくるような感覚を表現することはできませんでした。そこで奥行き方向の制御も実現可能な波面合成音響技術の検討を進め、客席近くまで飛び出てきて、あたかもすぐ近くで音が鳴っているように感じる、臨場感の高い音響再生を実現しました」(堤)
これによって、例えばスポーツの映像を見ている場合、プレーの音声は選手達から聞こえるが、見せ場になった途端、観客の歓声が自分のすぐそばから聞こえる。そんな臨場感の再現が可能になった。
Kirari! はこれらのさまざまな技術をつなぎ合わせることによって実現するメディアである。外村が担う役割は、こうしたさまざまな情報を同じタイミングで統合する技術の研究だ。
「私は映像や音声を構築するさまざまな情報を、すべてグローバルクロックに合わせて同期できる技術の研究を進めています。被写体の映像、被写体以外の映像、音声など、さまざまな要素が少しでもずれれば臨場感は生まれません。完璧に情報を同期することで、高い臨場感の実現をめざしています」(外村)
さらに、現在は過去の映像とリアルタイムの映像を完全に同期させる技術にもチャレンジしている。Kirari! を単なる距離を超えて臨場感を伝えるメディアではなく、時間をも超えて臨場感を生み出すメディアへとさらに進化させようとしている。

※写真左から柿沼 弘員、巻口 誉宗、外村 喜秀、堤 公孝

KEY WORD
  • イマーシブテレプレゼンス
  • 情報ナビゲーション
  • 統計的機械学習
  • ビッグデータ解析
  • ヒューマンインタフェース
  • ライフログ・センシング
  • ロボット
  • ガジェット
  • サービスデザイン

人の能力を超越した新たな体験を創出するサービス基盤技術

新しい体験をもたらすサービスやガジェットの創出に向け、①時間や場所に依存せずに感動を共有できる高臨場UXの実現に向けた技術、②人の活動に関わる実世界の環境・状態変化のセンシングと行動モデリングによるダイバーシティ/プロアクティブナビゲーション技術、③ネットワーク、IoT化され連携するロボットやデバイス、新たなガジェットを実現するロボティクス基盤技術、④人に優しいサービスや社会課題の解決を実現するためのUI/UXサービスデザイン技術に取り組んでいます。

※社員の所属組織などは取材時のものです。

PAGE TOP