ディープラーニングのモデル圧縮とは？代表的3手法とエッジAIの必要性

​「これは赤いリンゴの画像である」「道路上に別の車が走行している」などを判断するためには、ルールに則った数式や理論が必要です。​

​ディープラーニングや機械学習における「モデル」は、コンピューターが認識した情報について、評価や判定をするための数式や理論です。写真や音声を入力して、何の画像か判断したり、文字に起こしたりする際に判断を下す頭脳の役割を果たします。

エッジAIに期待されているのは処理スピードの向上です。先に紹介したクラウドAIでは、通信遅延によるタイムラグなど、通信環境の影響を受けることがあります。車の自動運転などでは、致命的な問題になるこれらの課題を、エッジAIで解決できると期待されています。

​また、1つのコンピューターに負荷がかかることも防げます。複数のIoTデバイスを担当する小型のサーバーを置くなどの「エッジコンピューティング」を行えば、処理を分散して負荷を減らすことが可能です。システム全体で考えても、処理速度の向上が見込めます。​

ディープラーニングを促進するには、ニューラルネットワークの層を増やすことが必要です。つまり、入力層・隠れ層・出力層のうちの、隠れ層を増やします。しかし、層を増やすほどAIの計算量が増えるため、膨大な計算を処理するのにコストも時間もかかります。

コンピューターのスペックには限りがあり、とりわけエッジAIを実現する場合は大きな課題になるでしょう。そこで、AIの計算量を少なくして高速化を目指すモデル圧縮が必要になりました。

Pruning（枝刈り）は関係性が薄いノードを間引く方法です。ディープラーニングの結果、過学習してしまった無駄なノードをなくすことで、計算量を減らします。重要度の低いノードを選んで切り離すため、精度もあまり下げずに高速化することが可能です。

​人間の脳も年齢とともに情報が蓄積されていくため、必要なときに情報を引き出しにくいといわれます。人間の脳の情報を整理することはできませんが、AIデバイスのノード間の関連度を数値化して、チューニングすることは可能です。​

量子化とは近似的にデータを扱うことをいい、情報量を少なくして計算を効率化する方法です。ディープラーニングでは、ノード間の情報を32ビット浮動小数点精度単位で扱うのが一般的ですが、用途によっては情報量が多すぎます。仮に8ビットで量子化すれば処理速度が増し、低スペックの端末機械にAIを搭載するのも容易になります。

ASICやFPGAなどは効率よく計算することが期待できます。ただしビットが小さくなるほど精度が低下する可能性もあります。

AIの開発対象に、それより大きなモデルを教師モデルとして継承する方法を蒸留といいます。大きなモデルの学習結果を生徒モデルへ引き継ぐことで、低スペックのデバイスでも高い精度を実現できます。蒸留では、大きなモデルの学習結果（soft target）と、教師モデルの学習などに利用する正解ラベル（hard target）を比較させて正解を導き出します。

​たとえば飛行機の画像を判定する際、hard targetには「この画像は飛行機だ」という正解の情報しかありませんが、soft targetを用いることで「飛行機には翼があり、窓があり……」という多角的な学習が期待できます。​

​車の自動運転や緊急時のブレーキなどでは、瞬時の判断が欠かせません。そのため、通信遅延が発生する可能性があるシステムは採用できず、エッジAIが必要です。エッジの端末が自ら画像を解析して判断を行うため、コンマ数秒の自動応答制御が可能です。すでに実用化は時間の問題とされており、最もポピュラーなエッジAIの一つとして普及することになるでしょう。​

医療分野では、CT画像やレントゲン画像の医療診断のサポートにAIが使われています。医師のように論理的な推測で病気を見つけるというよりは、パターンマッチングのような技術が活用されているのが特徴です。人の目では見逃してしまいがちな細かい部分の分析や、めずらしい症状との照合などを短時間で行い、医師の診断をサポートします。

ディープラーニングによる音声認識や言語解析の代表例は、AppleのSiri、Google Nowなどが挙げられます。Webサイトの検索やオンラインショッピング、音声による文書作成などに利用できます。近年精度が高まっている分野は自動翻訳です。

従来、精度の向上にはアルゴリズムの改良が必要でしたが、ディープラーニングのAIは翻訳例を学習することで、自ら日々進化を続けています。