トピック

掲載日: 2022/03/15

タイトル: AI Security Risk Assessment

内容

Microsoft社が発行しているAIセキュリティのための「リスク管理フレームワーク」です。

Microsoft社が大企業や政府機関・非営利団体などの28組織に対して「MLシステムのセキュリティ対策状況」を調査したところ、25の組織が対策不十分であることが明らかになりました。そこでMicrosoft社は、MLシステムを開発・利用する組織を対象とし、組織がMLシステムのリスク管理を行うためのフレームワークをリリースしました。

本フレームワークは以下３つを目標に掲げています。

MLシステムのセキュリティに包括的な視点を提供する
本フレームワークは、データの収集・学習データの作成・モデルの作成（学習）、そしてモデルの展開に至るまで、MLシステムのライフサイクル全体に目を向けている。また、AI開発におけるサプライチェーンや、MLシステムに関する緊急時の対応計画（バックアップやリカバリなど）も包含する。
重要なAI資産に対する脅威と、それを保護するためのガイダンスを概説する
機械学習エンジニアやセキュリティ専門家にとって実用的なフレームワークとなるよう、MLシステムのライフサイクルの各工程におけるセキュリティのポイントを列挙している。また、MLシステムに関して既存のプラクティス（ISO27001:2013、NIST800-53など）を補強する内容となっている。
組織がMLシステムのリスク評価を実施できるようにする
本フレームワークは、MLシステムのセキュリティ状況を収集してギャップ分析を行い、セキュリティ対策の進捗状況を追跡する機能を提供する。

本フレームワークはMLシステムのライフサイクル全体を網羅しており、AI開発におけるサプライチェーン（学習データの収集元や外部のアノテーションベンダーなど）も包含しています。また、本フレームワークはハイレベルな記述になっているため、本フレームワークを基に各組織の実情に合わせたガイドラインを作成することもできると思われます。

AI製品の開発や利用している組織において、AIセキュリティのリスク管理を行う際の初めの一歩として活用できるのではないでしょうか。

情報ソース: AI Security Risk Assessment

掲載日: 2022/03/01

タイトル: Red Teaming Language Models with Language Models

内容: 先日掲載したトピック「大規模言語モデルに関連するリスクの整理」の通り、GPT-3やBERTなどの大規模言語モデルは、開発者が意図しない差別的な発言や暴言・誹謗中傷、（学習データに含まれる）機密情報の漏えいなどを引き起こしてしまうリスクがあります。このような「有害な振る舞い」を未然に防ぐためには、人間が「AIの適性」を測る質問項目を用意し、これを大規模言語モデルに与えて応答をチェックする必要がありますが、人力作業はコストが高い上に、質問の幅も限られてしまうという課題がありました。

そこでDeepMind社は、大規模言語モデルの適性をAIでチェックする手法を提案しています。言わば、AIの適性をAIがチェックする試みになります。

具体的には、レッドチームとなるAIが（強化学習などを使用して）大量の質問項目を自動生成し、これをテスト対象の言語モデルに入力します。そして、言語モデルの応答を（有害な振る舞いを検知する）分類器に通すことで、言語モデルの応答が適切か否か自動的に判定します。

これにより、大規模言語モデルの有害な振る舞いを自動的に検出できるようになったとのことです。

大規模言語モデルはチャットボットや文章生成など様々な分野で利用が広がっていますが、学習データの汚染やバイアスなどを放置すると、「Tay」のように暴走してしまうリスクがあります。そのような悲劇を繰り返さないためにも、DeepMind社の取り組みは言語モデルを開発している方々にとって参考になるのではないでしょうか。

情報ソース: Red Teaming Language Models with Language Models

掲載日: 2022/02/15

タイトル: 36th AAAI Conference on Artificial Intelligence

内容

AAAIは、世界トップレベルの研究者・技術者が参加する国際会議であり、新たなAIアルゴリズムの提案や改善など、AIに関する様々な研究成果が発表されます。

今年は2月28日から3月1日にかけてオンラインで開催される予定であり、AIセキュリティに関わる研究も多く発表されます。

そこで、弊社が注目するAIセキュリティに関連するセッションを幾つか紹介します。

W1: Adversarial Machine Learning and Beyond
AI/MLシステムに対する敵対的攻撃は数多く生まれており、実世界のシステムにAI/MLを展開した場合、様々な問題を引き起こす可能性がある。そこで本セッションでは、AI/MLシステムに対する敵対的攻撃への理解を深め、実世界で信頼性の高いAI/MLシステムを構築するために、AIセキュリティに関する重要なトピックを挙げて議論する。
W9: Artificial Intelligence for Cyber Security (AICS)
医療分野では近年、フィッシング攻撃や偽情報の拡散、そして患者の重要情報を保管するインフラへの侵入など、サイバー攻撃が活発化している。また、AI/MLを医療分野に展開した場合、患者の個人情報や健康記録の窃取などを目的とした敵対的攻撃に晒される可能性があるため、従来のセキュリティに加え、AIセキュリティも十分に考慮する必要がある。そこで本セッションでは、医療分野にAI/MLを適用する際に考慮すべきセキュリティを議論する。
W17: Engineering Dependable and Secure Machine Learning Systems
AI/MLシステムは従来のソフトウェア品質基準を適用することが困難であるため、AI/MLシステムの品質を測る方法論やツールが求められている。また、AI/MLシステムは従来の脆弱性に加え、AI特有の脆弱性も持っており、攻撃に晒される可能性がある。そこで本セッションでは、AI/MLシステムの品質やセキュリティを向上させるために、AI/ML・ソフトウェア工学（主に品質）、セキュリティ、ゲーム理論などの様々な分野を融合し、さらに学術界と産業界を融合し、実用的な解決策を議論する。

AI/MLのセキュリティは世界的に大きなトピックになっており、国際会議におけるAIセキュリティのセッション数は年々増加しています。日本では海外ほどAIセキュリティのトピックは話題になっていないため、AIセキュリティに関する最新の研究成果や議論を学ぶ上でも、AAAIやUSENIX Securityなどのトップカンファレンスに参加することは有意義であると考えます。

情報ソース: 36th AAAI Conference on Artificial Intelligence

掲載日: 2022/02/01

タイトル: GARD: Guaranteeing AI Robustness against Deception

内容

GARDは、DARPAやシカゴ大学、IBM、そしてGoogleなどによる「AI/MLシステム堅牢化」のプロジェクトです。

AI/MLシステムの防御技術は従来から存在しますが、多くは特定の攻撃にのみ有効であり、攻撃者に迂回路を与えてしまう（防御を迂回される）という課題がありました。そこで、本プロジェクトでは「広範な攻撃に対して有効な防御基盤の確立」を目指し、AI/MLシステムの防御に役立つ技術やデータセットなどの最適な組み合わせを検証しています。

現在、GARDを構成する要素は以下の通りです。

Armory（twosix社）
AI/MLシステムの堅牢性を評価するためのプラットフォーム。
モデルやデータセット、そして評価基準を切り替えながら、回避攻撃、汚染攻撃、窃取攻撃（データ窃取、モデル窃取）などの様々な敵対的攻撃を実行し、AI/MLシステムの堅牢性を自動的に評価する。
ART（IBM社）
AI/MLシステムの堅牢性を評価するためのPythonライブラリ。
開発者自身が自社のAI/MLシステムに対して様々な敵対的攻撃を実行し、製品リリース前に脆弱性を明らかにすることができる。開発のテスト段階で使用することを想定している。
APRICOT（MITRE）
物体検知カメラなどを攻撃する物理的な敵対的サンプル「Adversarial Patch」のデータセット。
開発のテスト段階で本データセットを使用することで、Adversarial Patchへの耐性を評価する。
Self-Study repository（Google社）
敵対的サンプルの防御技術を実践形式で学ぶためのプロジェクト。
敵対的サンプルは多くの文献で発表されているが、これを実践的に学んだことのある開発者は殆ど存在しない。そこで本プロジェクトでは、開発者に敵対的サンプルのハンズオン環境を提供することで、理解を深めてもらうことを目標としている。

AI/MLシステムへの攻撃経路は広範であり、単一の研究機関や企業が開発した防御技術のみで全ての攻撃を防ぐことは非常に困難です。GARDのような産官学連携の取り組みは日本におけるAIセキュリティの取り組みにも参考になるのではないでしょうか。

情報ソース: GARD: Guaranteeing AI Robustness against Deception

掲載日: 2022/01/21

タイトル: Ethical and social risks of harm from Language Models

内容

DeepMind社やトロント大学などの研究者らが共同で執筆した、大規模言語モデル（以下、LM）のリスクを整理した論文です。

近年、BERTやGPT-3などの大規模言語モデルが開発され、チャットボットや文章生成、文書のリーガルチェックなどのタスクに利用が拡大しています。一方、LMがユーザの質問（クエリアクセス）に対し、学習した個人情報や機密情報を開示する問題や、LMの文書生成能力を悪用したフェイクニュースの作成・拡散など、負の側面も懸念されています。

そこで本論文では、LMの「正しい」社会実装を促すため、以下６つの観点でLMのリスクを整理し、LMの開発者や利用者に注意を喚起しています。

Discrimination, Exclusion and Toxicity
LMが差別的、排他的な言論を生み出すことによる悪影響。
この観点では、以下のリスクに主眼を置いています。
- 有害なステレオタイプの固定化と不当な差別
  LMの学習データに社会の固定観念や差別などが含まれていた場合、LMは差別的な言葉やステレオタイプを固定化する可能性がある。
- 排他的規範
  LMの学習データに偏った価値観や規範が含まれていた場合、LMは偏った価値観や排他的な規範に則った振る舞いをする可能性がある。
- 毒のある言葉
  LMの学習データに毒のある言葉が含まれていた場合、LMはヘイトスピーチや下品な言葉、毒舌、誹謗中傷、暴力を扇動する言葉を発する可能性がある。
- 社会集団によるパフォーマンスの低下
  LMは、一部の言語ではパフォーマンスが劣ることが知られている。
  LMの研究開発に大規模な資金、人員を投じることができる国の言語ではパフォーマンスが高く、それ以外の国の言語ではパフォーマンスが低い（方言や訛りなども同様）。LMによる恩恵の享受に不均衡が生じる可能性がある。

Information Hazards
LMが個人情報や機密情報を漏えいすることで生じる悪影響。
この観点では、以下のリスクに主眼を置いています。
- 個人情報漏えいによるプライバシー侵害
  個人情報を学習したLMは、ユーザの質問に対して個人情報を開示する可能性がある。
- 個人情報を推論することによるプライバシー侵害
  学習データに個人情報が含まれなくとも、推論時にプライバシー侵害が生じる可能性がある。
- 機密情報漏えいや推論によるリスク
  LMの学習データに機密情報が含まれていた場合、ユーザの質問に対して機密情報を開示する可能性がある。

Misinformation Harms
LMが誤った、あるいは誤解を招く情報を提供することで生じる悪影響。
この観点では、以下のリスクに主眼を置いています。
- 虚偽または誤解を招くような情報の流布
  LMの学習データに誤情報が含まれており、かつ、人間がLMを過大評価している場合、LMが流布する根拠のない意見に人々が誘導され、社会の分断が進む可能性がある。
- 医療や法律などにおいて、誤情報を発信し、重大な損害を与えること
  LMの予測精度が低い場合、ユーザに間接的な損害を引き起こす可能性がある。
- 非倫理的または違法な行為を行うようユーザを誘導すること
  LMの学習データに誤情報が含まれていた場合、ユーザの非倫理的または有害な行動を動機付ける捏造情報を提供する可能性がある。

Malicious Uses
悪意のある者がLMを利用して意図的に害を及ぼすことで生じる悪影響。
この観点では、以下のリスクに主眼を置いています。
- 偽情報の生成
  LMは合成メディアやフェイクニュースを安価かつ高速に作成することができる。
  人間とLMが共同作業（LMが生成した多数の偽情報を人間が精査）することで、偽情報を拡散するキャンペーンに悪用される可能性がある。
- 不正行為、詐欺、的を絞った操作の促進
  LMは標的を絞った攻撃（詐欺など）に悪用される可能性がある。
- サイバー攻撃の支援
  悪意のある者はLMの文書生成機能を悪用し、サイバー攻撃に悪用可能なコードを自動生成する可能性がある。
- 違法な監視、検閲
  悪意のある者は、LMを大規模監視や検閲に利用する可能性がある。

Human-Computer Interaction Harms
利用者がLMを過度に信頼する、人間らしく扱うことで生じる悪影響。
この観点では、以下のリスクに主眼を置いています。
- システムの擬人化
  LMを擬人化することで、ユーザはLMの能力に対する希望的観測を膨らませる可能性がある。
- ユーザの信頼を裏切り、個人情報を取得する手段を生み出すこと
  ユーザはLMとの会話の中で、自分の思考・意見・感情など、他の方法では取得困難な個人情報を明らかにする可能性がある。このような情報を取得された場合、監視や中毒性のあるアプリ作成など、プライバシーを侵害したり、ユーザに害を与えるような二次利用に悪用される可能性がある。
- 性や民族のアイデンティティを暗示することで、有害な固定観念を助長すること
  LMは有害な固定観念を助長させる可能性がある。
  例えば、市販の音声アシスタントは、圧倒的に従順な女性として表現されており、この傾向はアバターなどの他の仮想アシスタントにも反映されている。女性に対する誤った固定観念を助長することになる。

Automation, Access, and Environmental Harms
LMによる環境、または経済に与える悪影響。
この観点では、以下のリスクに主眼を置いています。
- LMの運用による環境被害
  LMを含む大規模な機械学習モデルは、エネルギー需要、モデルの学習と運用に伴う炭素排出、データセンターを冷却するための真水の需要を通じて、大きな環境コストを生み出す可能性がある。これらのエネルギー需要は、環境資源枯渇のリスクを含め、生態系と気候に悪影響を及ぼす可能性がある。
- 格差の拡大、雇用の質への悪影響
  LMの進歩は、コールセンター・文書翻訳・コードの記述など、現在人間が行っている作業の自動化に繋がり、雇用にマイナスの影響を与える可能性がある（但し、LMの普及により、新たな雇用が生まれる可能性もある）。
- 創造的な経済の弱体化
  LMが芸術家の作品を学習・模倣することで、芸術家の創作活動に悪影響を及ぼす可能性がある。
- ハードウェア、ソフトウェア、スキルの制約による利益享受の不均衡
  インターネットへのアクセス、言語、スキル、ハードウェアなどの制約により、LMの恩恵を全ての人々やグループが享受できる可能性は低い。これは、一部のグループに不釣り合いな利益をもたらすことにより、世界的な不公平を永続させる可能性がある。

日本においてもBERTやGPTなどを活用する動きが出てきています。
LMのリスクが顕在化し、社会問題にならないためにも、特にLMの開発者や利用者の方々は、LMのメリットだけに目を向けず、負の側面も理解しながら開発・利用する必要があると言えるのではないでしょうか。

情報ソース: Ethical and social risks of harm from Language Models

掲載日: 2022/01/05

タイトル: NIST AI Risk Management Framework (AI RMF)

内容

米国国立標準技術研究所(NIST)は、AIに関連する個人、組織、社会へのリスクをより良く管理するためのフレームワークを開発しています。AIリスク管理フレームワーク（AI RMF）は、AIシステムの開発者、ユーザー、評価者が、個人、組織、社会に影響を及ぼす可能性のあるAIリスクをより適切に管理出来るようにする事を目的としています。正確性、説明可能性、解釈可能性、信頼性、プライバシー、堅牢性、安全性、セキュリティ、意図しない偏りや有害な利用の緩和などへの対処を促進する事を目的としています。特に、AI技術やシステムの展開・使用時の透明性、公平性、説明責任といった原則を考慮する必要があります。これらの特性や原則は、一般にAI技術やシステム、製品、サービスの信頼性に寄与すると考えられています。

2021年12月13日、AIリスク管理フレームワーク（AI RMF）のコンセプトペーパーが発行されました。この文書では、2021年7月29日に発行された情報提供依頼書（RFI）や、2021年10月19～21日に開催したワークショップ「Kicking off NIST AI Risk Management Framework」における議論での意見を取り入れています。

最近の情報提供の要請とワークショップでのフィードバックに基づき、AIは以下の特性を満たす必要があると、NISTは言及しています。

透明性
オープンかつ透明なプロセスを通じて、コンセンサス主導で開発され、定期的に更新される事。すべてのステークホルダーは、フレームワークの開発に貢献し、コメントする機会を持つべきである。
明確
上級管理職、政府関係者、NGOのリーダー、さらに広くAI専門家でない人々にも理解できる平易な言葉を用いるとともに、実務家にとって有用となるよう十分な技術的深さを持たせる事。組織全体、顧客、一般大衆との間でAIリスクをコミュニケーション出来るようにする。
共通言語
AIリスクについての共通言語として、分類法、用語、定義、測定基準、特徴付けを提供する。
容易性
組織の広範なリスクマネジメント戦略及びプロセスの一部として容易に適応可能である。
幅広い視点
技術にとらわれない（水平）ユースケースとコンテキストに特化した（垂直）ユースケースの両方に適切なものである。
カタログ
一律の要件ではなく、成果や手法のカタログを提供する。
一貫性
可能な限り、既存の基準、ガイドライン、ベストプラクティス、方法論、AIリスク管理ツールなどを活用する。
生きた文書
フレームワークを容易に更新出来るようにする。

今後、2022年初頭にAIリスク管理フレームワーク（AI RMF）の初稿を公開し、パブリックコメントを求めるとともに追加のワークショップを開催し、2023年初頭にバージョン1.0の公開を目指す予定です。

情報ソース: AI RISK MANAGEMENT FRAMEWORK

掲載日: 2021/12/15

タイトル: Responsible AI Guidelines in Practice

内容

米国の国防イノベーション・ユニット（DIU）は、米国政府、非営利団体、学術機関、産業界が策定したAI開発におけるベストプラクティスを参考にし、国防総省のAI開発プロジェクトに倫理原則を適用する方法を検討しました。その結果として、「責任あるAI（RAI: Responsible AI）ガイドライン」が策定されました。
本ガイドラインは、AI開発のライフサイクルの各段階（計画、開発、展開）で取り組むべき指針で構成されています。具体的には、AI開発企業や国防総省の利害関係者、そして、プログラムマネージャー（※1）に対し、開発ライフサイクルの各段階で（国防総省が定めた倫理原則の）公平性、説明責任、透明性が確保されていることを確認する指針を提供しています。
本ガイドラインを実際のAIプログラム（健康予測、海外からの敵対的行為への対策）の開発ライフサイクルに適用した結果、以下のような重要な学びが得られました。

計画
開発するAIの目的、KPI、ベースラインを適切に定義し、AI開発のために必要なデータへのアクセスを確保する。また、利害関係者とミッションオーナー（※2）を明確にし、AIの導入により生じうる影響をモデル化する。さらに、AIが誤作動した際、（正常に稼働していた）以前のバージョンに戻す手段を規定する。
開発
開発者がデータやモデルを操作することで生じうる悪影響を軽減する手段を講じること、展開後のAIを監視するための指標を明確にすること、AIの能力（推論精度など）に変更を加える権限を適切な人物に割り当てること、（AIへの入力に対する）出力がどのような処理を経て生成されるかをAIの利用者が理解できるようにすること、日常的なシステム監査の計画を立てること。
展開
AIの能力と入力データが安全かつ想定通りであることを確認するために、AIの挙動と入力データの検証を継続的に実施し、新たに与えられるデータがAIの能力を低下させないことを確認する。また、機能テストを活用し、AIの能力が目的達成のために十分に確保されているかを評価する。さらに、利害関係者に与えうる潜在的な悪影響を常に評価し、必要に応じて悪影響を緩和する手段を講じる。

※1：プログラムマネージャーは、展開されている複数のプロジェクトを把握し統括する事を責務とします。展開された各プロジェクトがきちんと機能するように人員の配備や予算の検討を行い、全体の状況を考慮してプロジェクト間の調整を行います。
※2：ミッションオーナーは、プロジェクトの技術面と運用面の両方について適切な理解を持ち、プロジェクトが倫理的・法律的に要件を満たしているのを保証する事を責務とします。

情報ソース: Responsible AI Guidelines in Practice

掲載日: 2021/12/1

タイトル: Vulnerability Disclosure and Management for AI/ML Systems: A Working Paper with Policy Recommendations

内容

AIの社会実装と共にAIシステムが攻撃を受ける可能性が高まっていますが、米国政府機関含む多くの組織・企業のAI開発者/利用者は、AIシステムと（既に多くの脆弱性が報告されている）既存システムを分けて考え、脆弱性管理にAIシステムを含めない傾向にあります。そこで、本レポートでは、米国政府機関およびAIを開発/利用する組織に対し、以下の提案を行っています。

セキュアなAI開発
OWASP, SAFECodeなどの組織が策定しているセキュアなソフトウェア開発のためのガイドラインなどにAIを含め、AIシステムを既存システムと同じようにセキュアに開発/運用する意識を芽生えさせる。
データセットに既存のセキュリティ基準を適用
データ汚染の可能性がある公開データセットにデジタル署名を付与する。
また、非公開扱いのデータセットは、適切な権限設定や多要素認証などの方法でアクセス制御する。
透明性と文書化
SBOM（ソフトウェア部品表）の概念をAIシステムに適用し、データセットの出所・使用アルゴリズムの特定・AIシステムのテスト方法などの情報を開示する。
レッドチーミング（Red Teaming）
AIシステムのためのレッド・チームを組織し、AIシステムの脆弱性を検出する。
テスト/評価/検証
政府機関主導でAIシステムをテスト/評価/検証するためのソフトウェア・テスト基準を設ける。
AIシステムを検証するための統一基準
既存のソフトウエアと同様に、AIシステムやAIの構成要素の論理的正しさを、独立または開発者と協調して検証するための形式的手法を設ける（但し、形式的手法を設けても既存ソフトウェアの脆弱性は減っていないため、議論の余地がある）。

本レポートは米国の事情に合わせたものですが、日本国内においても参考になるかと考えています。

情報ソース: Vulnerability Disclosure and Management for AI/ML Systems: A Working Paper with Policy Recommendations

掲載日: 2021/11/15

タイトル: AIセキュリティのためのフレームワーク

内容

開発したAIをセキュアにするには、AIをリリースする前に「セキュリティテスト」を行う必要があります。そこで本項では、AIのセキュリティテストを支援するライブラリ・フレームワークを紹介します。

Adversarial Robustness Toolbox（ART）
ARTは「Deep Learningモデルや決定木など、様々な種類のモデルのセキュリティを評価するツールキット」です。ARTを使用することで、モデルに対する様々な攻撃手法（敵対的サンプル、データ汚染、モデル窃取、データ窃取など）とそれらに対する防御手法を検証することができます。ソースコードやドキュメントは以下から入手可能です。
https://github.com/Trusted-AI/adversarial-robustness-toolbox
CleverHans
CleverHansは「画像分類器のセキュリティを評価するツールキット」です。CleverHansは敵対的サンプルに焦点を当てており、様々な手法を使用して敵対的サンプルを作成することができます。本ツールキットを使用することで、画像分類器の敵対的サンプルへの耐性を評価することができます。ソースコードやドキュメントは以下から入手可能です。
https://github.com/cleverhans-lab/cleverhans
OpenAttack
OpenAttackは「言語モデルのセキュリティを評価するツールキット」です。このツールキットには、15種類の言語モデルに対する敵対的攻撃手法が実装されており、開発した言語モデルの評価、モデルの堅牢性の測定など、幅広い用途に使用することができます。ソースコードやドキュメントは以下から入手可能です。
https://github.com/thunlp/OpenAttack

情報ソース: https://github.com/Trusted-AI/adversarial-robustness-toolbox
https://github.com/cleverhans-lab/cleverhans
https://github.com/thunlp/OpenAttack

掲載日: 2021/10/22

タイトル: MITRE ATLAS

内容: MITRE ATLASは、AIへの攻撃手法を体系化したフレームワークであり、サイバーセキュリティ専門家がAIセキュリティに参加することを促す目的で作成されています。このフレームワークは、AIに対する脅威をReconnaissance（偵察）、Initial Access（初期アクセス）、Execution（攻撃の実行）、Exfiltration（データの持ち出し）、Impact（攻撃の影響）などにカテゴライズしており、カテゴリ毎に具体的な手法/技術を網羅しています。また、実際の製品やサービスに対する攻撃検証事例が「ケーススタディ」として公開されており、どのような手順で攻撃に至ったのか、その経緯が分かりやすく纏められています。MITRE ATLASを参照することで、攻撃者目線でAIに対する攻撃手法を理解することができます。

情報ソース: https://atlas.mitre.org/