機械学習はAIの基盤技術として今日の社会で重要な役割を担うようになっている。その中でも深層学習(ディープラーニング)は、さまざまな既存サービスで高い精度を実現した技術で、新規サービス創出のキーテクノロジーとしても大いに注目を集めている。
深層学習ではニューラルネットワークと呼ばれる階層的なパラメーター構造を持つモデルが学習に用いられている。学習ではデータをもとにそれぞれのパラメーターが少しずつ更新され、精度が向上していく。しかし画像分類などのタスクではパラメーターの階層が100を超えることもある。そうすると精度が高くても、パラメーターの更新の回数が多くなったり、学習に対するデータも膨大な量が必要となったりと、時間的なコストも大きくなる。
「深層学習において学習に時間がかかるという問題は比較的早い段階から叫ばれていました。解決方法は二つあり、一つはマシンパワーを増強するアプローチ。もう一つは、アルゴリズムにより学習の効率を改善するアプローチです。今、私はいかに学習にかかる時間をアルゴリズムで短縮できるかの研究に挑んでいます」(井田)
旬な研究
ディープラーニングの学習を
高速化する技術
コンピュータ&データサイエンス研究所
井田 安俊
学習時間を短縮し、
サービス開発のコストを軽減
試行錯誤を重ね、地道な観察で高速化を実現
学習時間の短縮にあたり井田が選択した手法は、パラメーターの更新量を慎重に自動調整するというものだ。これまでの一般的な自動調整アルゴリズムではパラメーターの更新量は過去の更新方向の大きさによって決定され、更新方向のばらつきは考慮されてこなかった。しかし、井田はこの「ばらつき」に着目した。更新方向が揃っていれば、更新量を大きくして学習を効率化させ、方向がばらついていれば更新量を抑えて学習を慎重に進める。
「例えるならば、山下りで足場が安定していれば大きな歩幅で一気に下り、安定していなければ、歩幅を小さく慎重に下るイメージです」(井田)
この手法に至るまで枝刈りアルゴリズムを含む30を超えるアルゴリズムを検討し実験を重ねたが、思うように時間を短縮することができなかった。そうしてたどり着いた手法は、思いのほかシンプルなものだったという。
「試行錯誤する中で更新の方向を全部書き出して目で確認するという作業を行い、更新方向の大きさだけでは自動調整が不十分であることを発見しました。地味な作業でしたが、そこにヒントが隠されていたのです」(井田)
こうして完成させたアルゴリズムは、シンプルなものであるだけに応用範囲も広い。すでにNTTグループの各事業会社で応用され始め、その使いやすさが高い評価を獲得しているという。また、その論文はAIのトップカンファレンスにも採択されている。今後、深層学習の学習時間が短縮されれば、さまざまなサービス開発が促進され、AIがより身近になる社会が訪れるかもしれない。井田の地道な作業の積み重ねが、未来への貴重な一歩となるかもしれない。
- KEY WORD
-
- メディア処理・知識処理
- 環境センシング
- 音響処理
- マルチモーダル
- データ分析・価値化
- IoT/AI
- 機械学習・深層学習
- 量子情報処理
- 並列分散処理・分散データベース
- ソフトウェア工学
革新的な計算機科学、データサイエンスを用いて、
規模や複雑さから取り扱い困難なデータを処理可能とし、
人や社会に有用な価値を創出する研究を推進
飛躍的な性能スケールの実現をめざし、計算機を構成する制御、演算、記憶の仕組みを刷新する研究、また、これまで以上により汎用的な問題を解くことを可能とするAIアルゴリズムやAIに代わる新たな基礎アルゴリズム創出の研究、有益な新たなデータを生成することを目的に、質感などを含む超高臨場なデータの生成や流通、人への伝達に関わる技術の研究、そして、多種多様なデータの適切な処理を通して価値を創出し、社会のさまざまな実問題を解決可能とするデータサイエンス技術の創出に関わる研究に取り組んでいます。
※記事本文中の研究所名や社員の所属組織などは取材時のものであり、旧研究所名の場合がございます。