azure-recipe-user 本記事は 生成AIセキュリティ by ナレコム Advent Calendar 2024 の4日目の記事です。
本Advent Calendarは、国内で唯一の技術領域 責任あるAI の MVP受賞者 を中心に、生成AIを含めたAIやデータを企業が利活用するときに気をつけるセキュリティやガバナンスを中心に紹介します。
Microsoft Responsible AI Standard, v2とは
Microsoftは、早くから 責任あるAI を実現すべく指針やガイドラインを設け、Microsoftが提供する多くのサービスに対して自ら評価や改善を行っております。その内容を具体的にまとめたものが Microsoft Responsible AI Standard となります。
目的
責任あるAI開発の指針提供
AI技術を開発、運用する際に考慮すべき倫理的、社会的、法的な要素を明確化し、Microsoft内部で統一されたアプローチを提供するため。これにより、AI技術が安全で信頼性が高く、公平で透明性のある形で活用されることを目指しています。
実践的なガイドラインの提供
Microsoftの6つのAI原則（公平性、信頼性と安全性、プライバシーとセキュリティ、包括性、透明性、説明責任）を、具体的な要件やプロセスに落とし込み、製品開発チームが実際の業務で適用できるようにする。
グローバルなAI規範への貢献
この文書を通じて、MicrosoftがAI倫理に関する議論や規範形成に貢献することを目指しています。また、他の企業、学術機関、市民社会、政府と協力し、AIの責任ある利用に向けた取り組みを推進します。
対象者
Microsoft内部の製品開発チーム
主な対象は、Microsoft内でAIシステムを開発・運用するエンジニア、プロダクトマネージャー、デザイナー、ポリシー策定者です。これらのチームがこの規範を活用し、AI開発プロセスを適切に進めることが期待されています。
組織全体のガバナンス担当者
責任あるAIの実現を推進する社内のポリシーチームやコンプライアンス担当者も重要な読者です。
外部の利害関係者
文書はMicrosoftの取り組みを外部に示す目的もあり、業界の他企業、学術研究者、市民団体、政策立案者といった広範なステークホルダーを対象に、Microsoftの姿勢や経験を共有し、議論を促進します。
内容の焦点
文書には、AI開発における具体的な目標、要件、プロセス、ガイドラインが記述されており、以下のようなトピックを含みます：
影響評価（Impact Assessment）
AIが個人や社会に与える影響を評価し、それに基づいて適切な設計や調整を行う。
レビューと承認プロセス
開発の各段階で必要なレビューを実施し、承認を取得する手順。
持続的な改善
新しい技術や研究、法規制に基づき、この標準をアップデートする仕組み。
つまり、この文書はMicrosoftのAI技術開発における「責任」を実現するための社内外の標準を定義し、それを共有することでグローバルなAI規範の形成に寄与することを目的としたものです。6つの基本原則（公平性、信頼性と安全性、プライバシーとセキュリティ、包括性、透明性、説明責任）のそれぞれの項目に対して達成すべき目標が設定されております。
説明責任（Accountability）
Goal A1: 影響評価（Impact Assessment）
MicrosoftのAIシステムは、影響評価を通じて評価されます。
対象: すべてのAIシステム
Goal A1の要点
Goal A1では、MicrosoftのすべてのAIシステムが、社会や個人に与える影響を開発初期に評価し、文書化することを求めています。また、影響評価は定期的に更新され、適切なレビュープロセスを経て承認を得る必要があります。
要件
A1.1 システムが人々、組織、社会に与える影響を評価します。この評価は、システムの開発初期、通常は製品のビジョンや要件を定義する段階で実施します。評価結果は、「責任あるAIオフィス」が提供する影響評価テンプレートを用いて文書化してください。
タグ: 影響評価
A1.2 開発開始前に、組織のコンプライアンスプロセスに基づいて特定されたレビュアーと完成した影響評価を見直します。必要なすべての承認をそのレビュアーから取得してください。
タグ: 影響評価
A1.3 影響評価は、少なくとも年1回、新たな意図された用途が追加された場合、または新たなリリース段階に進む前に更新し、見直してください。
タグ: 影響評価
Goal A2: 重大な悪影響への監督（Impact Assessment）
MicrosoftのAIシステムは、人々、組織、社会に重大な悪影響を及ぼす可能性があるシステムを特定するためにレビューされます。これらのシステムには、追加的な監督や要件が適用されます。
対象: すべてのAIシステム
Goal A2の要点
Goal A2では、MicrosoftのすべてのAIシステムが、人々や社会に重大な悪影響を及ぼす可能性がある用途（制限用途・センシティブ用途）を特定するためにレビューされ、必要に応じて追加の監督や要件が適用されます。この評価は定期的に見直され、「責任あるAIオフィス」への報告と対応が求められます。
要件
A2.1 定義された「制限用途（Restricted Uses）」をレビューし、システムがこれに該当するかどうかを確認します。該当する場合は、その内容を影響評価（Impact Assessment）に文書化し、「制限用途」の要件に従ってください。
タグ: 影響評価
A2.2 影響評価テンプレート内の質問に回答し、システムが「センシティブ用途（Sensitive Uses）」の定義に該当するかどうかを確認します。該当する場合は、「責任あるAIオフィス（Office of Responsible AI）」に報告し、センシティブ用途レビューによって課せられる追加の要件に従ってください。
タグ: 影響評価
A2.3 少なくとも年1回、システムを「センシティブ用途」および「制限用途」の定義に照らしてレビューします。
- 「センシティブ用途」に該当するシステムがある場合は、「責任あるAIオフィス」に報告してください。
- 「制限用途」に該当するシステムがある場合は、「責任あるAIオフィス」に通知してください。
タグ: 影響評価
Goal A3: 適合性（Fit for Purpose）
MicrosoftのAIシステムは、その設計目的に対して有効な解決策を提供することで、適合性を備えています。
対象: すべてのAIシステム
Goal A3の要点
Goal A3では、MicrosoftのAIシステムが設計目的に対して適切かつ有効な解決策を提供できることを保証するために、用途ごとの適合性を評価し、文書化することを求めています。また、性能指標やエラーの評価、顧客への透明性のある情報提供を通じて、信頼性と責任を維持することが目指されています。
要件
A3.1 影響評価（Impact Assessment）において、システムがそれぞれの意図された用途においてどのように問題を解決するかを文書化してください。問題解決には複数の有効な方法がある可能性があることを考慮します。
タグ: 影響評価
A3.2 AIシステム内の各モデルについて、以下を定義し文書化してください：
- モデルの入力データと、それが意図された概念をどの程度適切に表現しているか。表現の制限についての分析を含むこと。
- モデルの出力データと、それが意図された概念をどの程度適切に表現しているか。表現の制限についての分析を含むこと。
- 使用される学習データとテストデータに基づく、結果モデルの一般化能力の制限。
A3.3 この目標に対する「責任あるリリース基準（Responsible Release Criteria）」を定義し文書化してください。以下を含める必要があります：
- 解決されるべき問題の簡潔な定義。
- パフォーマンス指標とその責任あるリリース基準。
- エラーの種類とその責任あるリリース基準。
A3.4 各パフォーマンス指標とエラーの種類に対する評価計画を文書化してください。
タグ: 継続評価チェックポイント
A3.5 要件A3.4で定義した方法を用いて評価を実施してください。リリース前の評価結果を文書化し、継続的な評価を実施する頻度を決定し、それを文書化してください。
タグ: 継続評価チェックポイント
A3.6 以下を記載した文書を顧客に提供してください：
- システムの意図された用途。
- 各意図された用途に対してシステムが適合していることを示す証拠。
システムが外部顧客やパートナーに提供されるプラットフォームサービスの場合、この情報を必要な「透明性ノート（Transparency Note）」に含めてください。
タグ: 透明性ノート
A3.7 意図された用途が証拠によってサポートされていない場合、またはシステムが意図された用途に適合していないことを示す証拠が明らかになった場合、以下を行ってください：
- 顧客向け資料から該当する用途を削除し、現在の顧客に問題を知らせ、特定されたギャップを埋めるための行動を取るか、システムを中止する。
- 該当用途に関連する文書を修正する。
- 修正した文書を顧客に公開する。
システムが外部顧客やパートナーに提供されるプラットフォームサービスの場合、この情報を必要な「透明性ノート」に含めてください。
タグ: 透明性ノート
A3.8
システムの利点についてのコミュニケーションは慎重に行い、必要に応じて弁護士の指導に従ってください。
Goal A4: データガバナンスと管理（Data governance and management）
MicrosoftのAIシステムは、適切なデータガバナンスおよび管理手法の対象となります。
対象: すべてのAIシステム
Goal A4の要点
Goal A4では、MicrosoftのAIシステムが意図された用途や要件に適合するデータを適切に管理するため、データ要件の定義、評価、文書化を求めています。また、データの収集や処理手順を整備し、既存データセットの適合性を確認することで、システムの信頼性と適切性を保証します。
要件
A4.1 システムの意図された用途、ステークホルダー、および展開される地理的地域に関連するデータ要件を定義し文書化してください。これらの要件を影響評価（Impact Assessment）に記載してください。
タグ: 影響評価
A4.2 データの収集および処理に関する手順を定義し文書化してください。これには、アノテーション、ラベリング、クリーニング、拡充、集約を含む必要がある場合があります。
A4.3 既存のデータセットをシステムのトレーニングに使用する予定がある場合、A4.1で定義したデータ要件に照らして必要なデータセットの量と適合性を評価してください。この評価を影響評価に文書化してください。
タグ: 影響評価
A4.4 システムで使用されるデータを、A4.1で定義した要件に対して評価するための方法を定義し文書化してください。
A4.5 A4.4で定義した方法を用いてすべてのデータセットを評価してください。評価結果を文書化してください。
Goal A5: 人間の監視と制御（Human oversight and control）
MicrosoftのAIシステムは、十分な情報に基づく人間による監視と制御をサポートする機能を備えています。
対象: すべてのAIシステム
Goal A5の要点
Goal A5では、MicrosoftのAIシステムが人間の監視や制御の下で適切に運用されることを保証するために、責任者やシステム設計要素を特定・文書化し、評価を実施することを求めています。第三者との連携やオートメーションバイアスへの対応も含め、人間中心の安全なシステム運用を目指します。
要件
A5.1 システムのデプロイ中およびデプロイ後に、システムのトラブルシューティング、管理、運用、監視、制御を担当するステークホルダーを特定し、その監視および制御の責任を文書化してください。影響評価テンプレートを使用してこれらを記載してください。
タグ: 影響評価
A5.２ A5.1で特定されたステークホルダーが監視責任を効果的に理解し遂行するために必要なシステム要素（UX、機能、警告・報告機能、教育資料など）を特定し文書化してください。ステークホルダーは以下を理解できる必要があります：
- システムの意図された用途。
- システムとのやり取りを効果的に実行する方法。
- システムの挙動を解釈する方法。
- システムを上書き、介入、中断するタイミングと方法。
- システムの出力に過剰に依存する傾向（「オートメーションバイアス」）を認識する方法。
各監視および制御機能をサポートするシステム設計要素を文書化してください。
A5.3 可能な場合、A5.2で特定したシステム要素を設計してください。MicrosoftがシステムUXに責任を持たない場合など、それが不可能な場合は、A5.2で特定したシステム要素の実装に関するガイドラインを第三者に提供してください。
A5.4 各監視または制御機能が、システムの現実的な利用条件下でステークホルダーによって達成可能であるかを評価するための方法を定義し文書化してください。この評価には、使用する評価指標やルーブリックを含める必要があります。Microsoftが監視および制御機能に責任を持たない場合は、評価に関するガイドラインを第三者に提供してください。
A5.5 この目標を達成するための「責任あるリリース基準（Responsible Release Criteria）」を定義し文書化してください。
A5.6 A5.4で定義した評価を、リリース直前のバージョンのシステムを用いて実施し、結果を文書化してください。
A5.7 評価指標またはルーブリックにおいて、責任あるリリース基準を満たしていない項目がある場合は、影響評価に記載されたレビュアー、またはセンシティブ用途に該当する場合は「責任あるAIオフィス」と協議し、ギャップを埋める計画を作成してください。その計画を文書化してください。
ツールと実践
- 推奨事項 A5.3.1: システム設計の際、「人間とAIの相互作用に関するガイドライン（Guidelines for Human-AI Interaction）」に従ってください。
- 推奨事項 A5.4.1: これらの評価を設計するためにユーザーリサーチャーを割り当ててください。
まとめ
本記事では、Microsoft Responsible AI Standard, v2の概要と、6つのAI原則の1つ 説明責任:Accountability における倫理的、社会的、法的責任を果たすための具体的な目標や要件を解説しました。Microsoftが重視する「責任あるAI」の実現に向けた6つの原則をもとに、影響評価、データ管理、人間による監視と制御など、多岐にわたる課題への取り組みが明確に示されています。これらの実践的なガイドラインは、企業や組織がAIを安全かつ公平に活用するための重要な指針となります。
