NTT LABORATORIES

研究所紹介

旬な研究

ディープラーニングの学習を
高速化する技術

ソフトウェアイノベーションセンタ
井田 安俊

学習時間を短縮し、サービス開発のコストを軽減

機械学習はAIの基盤技術として今日の社会で重要な役割を担うようになっている。その中でも深層学習(ディープラーニング)は、さまざまな既存サービスで高い精度を実現した技術で、新規サービス創出のキーテクノロジーとしても大いに注目を集めている。
深層学習ではニューラルネットワークと呼ばれる階層的なパラメーター構造を持つモデルが学習に用いられている。学習ではデータをもとにそれぞれのパラメーターが少しずつ更新され、精度が向上していく。しかし画像分類などのタスクではパラメーターの階層が100を超えることもある。そうすると精度が高くても、パラメーターの更新の回数が多くなったり、学習に対するデータも膨大な量が必要となったりと、時間的なコストも大きくなる。
「深層学習において学習に時間がかかるという問題は比較的早い段階から叫ばれていました。解決方法は二つあり、一つはマシンパワーを増強するアプローチ。もう一つは、アルゴリズムにより学習の効率を改善するアプローチです。今、私はいかに学習にかかる時間をアルゴリズムで短縮できるかの研究に挑んでいます」(井田)

試行錯誤を重ね、地道な観察で高速化を実現

学習時間の短縮にあたり井田が選択した手法は、パラメーターの更新量を慎重に自動調整するというものだ。これまでの一般的な自動調整アルゴリズムではパラメーターの更新量は過去の更新方向の大きさによって決定され、更新方向のばらつきは考慮されてこなかった。しかし、井田はこの「ばらつき」に着目した。更新方向が揃っていれば、更新量を大きくして学習を効率化させ、方向がばらついていれば更新量を抑えて学習を慎重に進める。
「例えるならば、山下りで足場が安定していれば大きな歩幅で一気に下り、安定していなければ、歩幅を小さく慎重に下るイメージです」(井田)
この手法に至るまで枝刈りアルゴリズムを含む30を超えるアルゴリズムを検討し実験を重ねたが、思うように時間を短縮することができなかった。そうしてたどり着いた手法は、思いのほかシンプルなものだったという。
「試行錯誤する中で更新の方向を全部書き出して目で確認するという作業を行い、更新方向の大きさだけでは自動調整が不十分であることを発見しました。地味な作業でしたが、そこにヒントが隠されていたのです」(井田)
こうして完成させたアルゴリズムは、シンプルなものであるだけに応用範囲も広い。すでにNTTグループの各事業会社で応用され始め、その使いやすさが高い評価を獲得しているという。また、その論文はAIのトップカンファレンスにも採択されている。今後、深層学習の学習時間が短縮されれば、さまざまなサービス開発が促進され、AIがより身近になる社会が訪れるかもしれない。井田の地道な作業の積み重ねが、未来への貴重な一歩となるかもしれない。

閉じる