azure-recipe-user はじめに
本記事では、Microsoftのイベント「Azure Bootcamp 2024」にて行われた「生成 AI 2.0 -日本の導入実例とトレンドから学ぶ生成 AI ビジネス活用」についてまとめた記事です。
公式ページ
SLM(small language model)について
LLMではなくSLMを使うメリット
- サイズに対しての品質とコスト優位性がある： SLMは小規模モデルながら、高品質な結果を提供するこれによりトレーニングコストや運用コストが軽減される
- 利用するデバイスを選ばない： SLMは軽量であるため、エッジデバイスやモバイルデバイスでも容易に利用可能
- パフォーマンス、推論スピードが速い： 小規模なモデルであるため、推論速度が速く、リアルタイムの応答が可能
- 長文プロントの挿入、ファインチューニングが容易： SLMは特定のタスクに対して簡単にカスタマイズでき、長文のプロンプトにも対応可能
利用イメージ
- 固定タスク用のAI：例えば、特定の質問に対する回答を提供するチャットボット等
- オンデバイスにて利用：モバイルアプリやIoTデバイスでの利用
SLMとLLM比較
| 特徴 | LLM | SLM |
|---|---|---|
| モデルサイズ | 非常に大規模 （数十億～数千億パラメータ） |
小規模 （数百万～数億パラメータ） |
| 学習データ | 膨大かつ多様な データセットを使用 |
限定された特定の データセットを使用 |
| コスト | トレーニングと運用コストが高い | トレーニングと運用コストが低い |
| 適用範囲 | 汎用的なタスクに 広く適用可能 |
特定の用途やドメインに特化、 エッジオフラインでも適用可能 |
| パフォーマンス | 応答速度が遅くなる場合がある | 迅速な応答が可能 |
| デプロイの 容易さ |
複雑で専門的な知識が必要 | 比較的簡単で一般的な 知識で可能 |
multi modal
AIが複数の情報をもとに考え結果を出力する方式
音声、テキスト、画像等
multi model
用途別で複数のモデルを使い分ける方式
またAzure AI モデルカタログには1700以上のモデルがあり大きく下記3つに分類される
- LLM：汎用型
- SLM：業種等の特定事項特化型
- LM：言語特化型
2024年11月以降、日本語特化モデルのNTT DATAのtsuzumiをクラウド上で
利用可能予定
multi modal利活用
コールセンターでの利用
リアルタイムの会話音声から下記内容を出力することができる
- レポート作成
- json形式の構造体でファイルを出力
- 会話内容からAIが推論し、オペレータに助言をする
これによりコールセンターの品質が安定し、顧客の待ち時間が短縮される。また、AIがオペレーターにリアルタイムで助言を提供するため、管理者の手が空いていない場合でも迅速に対応が可能。これにより、オペレーターと管理者の両方が焦ることなく、スムーズに案内を行うことが可能
日本独自の活用事例（自動車メーカー）
SLMの活用：
- 走行中のサポート： SLMは走行中に発生する出来事やスピードに基づいて車両マニュアルを検索し、運転手に助言を行う
- 運転シーン分析：時間、明るさ、天候、対向車の有無、路面状況等から状況を整理し分析を行う
OpenAIとの連携：
- 大規模な検索: カーナビなどで大規模な検索が必要な場合、OpenAIに接続して処理を行う。例えば、「この辺にどんなエンタメ施設があるか提案して」といった問いかけに対して、OpenAIが提案を行う
- パーソナライズされた提案: 事前に家族情報を登録しておくことで、より状況に沿った回答を提供する
まとめ
SLMは小規模なモデルながら高品質な結果を提供し、トレーニングや運用コストを削減できる点が特徴。また、軽量であるためエッジデバイスやモバイルデバイスでも容易に利用可能で、推論速度も速くリアルタイム応答が可能。さらに、特定タスクへの適応や長文プロンプトの対応が簡単であるため、カスタマイズが容易
次に、SLMとLLMの比較について。LLMは非常に大規模で膨大かつ多様なデータセットを使用する一方、SLMは小規模で限定された特定のデータセットを使用する。LLMはトレーニングと運用コストが高いのに対し、SLMは低コストで済む。また、LLMは汎用的なタスクに広く適用可能であるが、SLMは特定の用途やエッジオフラインに特化している。パフォーマンス面では、LLMは応答速度が遅くなるのに対し、SLMは迅速な応答が可能。デプロイの容易さにおいても、LLMは複雑で専門知識が必要だが、SLMは比較的簡単
さらに、multi modalとmulti modelについて。multi modalは音声、テキスト、画像など複数の情報をもとに結果を出力する方式であり、multi modelは用途別に複数のモデルを使い分ける方式。Azure AIモデルカタログには1700以上のモデルがあり、LLM、SLM、LMに分類される
具体的な利用事例として、コールセンターと自動車メーカーのケースを紹介。コールセンターでは、リアルタイムの会話音声からレポート作成やオペレータへの助言を行い、品質向上と顧客待ち時間の短縮を実現している。自動車メーカーでは、走行中のサポートや運転シーンの分析にSLMを活用し、OpenAIとの連携で大規模な検索やパーソナライズされた提案を提供している
