トピック

AIセキュリティに関するトピックを取り上げていきます。

スタンフォード大学によるAIシステムの脆弱性管理手法の提案および米国政府機関への提言

掲載日
2021/12/1
タイトル
Vulnerability Disclosure and Management for AI/ML Systems: A Working Paper with Policy Recommendations
内容
AIの社会実装と共にAIシステムが攻撃を受ける可能性が高まっていますが、米国政府機関含む多くの組織・企業のAI開発者/利用者は、AIシステムと(既に多くの脆弱性が報告されている)既存システムを分けて考え、脆弱性管理にAIシステムを含めない傾向にあります。そこで、本レポートでは、米国政府機関およびAIを開発/利用する組織に対し、以下の提案を行っています。
  • セキュアなAI開発
    OWASP, SAFECodeなどの組織が策定しているセキュアなソフトウェア開発のためのガイドラインなどにAIを含め、AIシステムを既存システムと同じようにセキュアに開発/運用する意識を芽生えさせる。
  • データセットに既存のセキュリティ基準を適用
    データ汚染の可能性がある公開データセットにデジタル署名を付与する。
    また、非公開扱いのデータセットは、適切な権限設定や多要素認証などの方法でアクセス制御する。
  • 透明性と文書化
    SBOM(ソフトウェア部品表)の概念をAIシステムに適用し、データセットの出所・使用アルゴリズムの特定・AIシステムのテスト方法などの情報を開示する。
  • レッドチーミング(Red Teaming)
    AIシステムのためのレッド・チームを組織し、AIシステムの脆弱性を検出する。
  • テスト/評価/検証
    政府機関主導でAIシステムをテスト/評価/検証するためのソフトウェア・テスト基準を設ける。
  • AIシステムを検証するための統一基準
    既存のソフトウエアと同様に、AIシステムやAIの構成要素の論理的正しさを、独立または開発者と協調して検証するための形式的手法を設ける(但し、形式的手法を設けても既存ソフトウェアの脆弱性は減っていないため、議論の余地がある)。
本レポートは米国の事情に合わせたものですが、日本国内においても参考になるかと考えています。
情報ソース
Vulnerability Disclosure and Management for AI/ML Systems: A Working Paper with Policy Recommendations

AIセキュリティのためのフレームワーク

掲載日
2021/11/15
タイトル
AIセキュリティのためのフレームワーク
内容
開発したAIをセキュアにするには、AIをリリースする前に「セキュリティテスト」を行う必要があります。そこで本項では、AIのセキュリティテストを支援するライブラリ・フレームワークを紹介します。
  • Adversarial Robustness Toolbox(ART)
    ARTは「Deep Learningモデルや決定木など、様々な種類のモデルのセキュリティを評価するツールキット」です。ARTを使用することで、モデルに対する様々な攻撃手法(敵対的サンプル、データ汚染、モデル窃取、データ窃取など)とそれらに対する防御手法を検証することができます。ソースコードやドキュメントは以下から入手可能です。
    https://github.com/Trusted-AI/adversarial-robustness-toolbox
  • CleverHans
    CleverHansは「画像分類器のセキュリティを評価するツールキット」です。CleverHansは敵対的サンプルに焦点を当てており、様々な手法を使用して敵対的サンプルを作成することができます。本ツールキットを使用することで、画像分類器の敵対的サンプルへの耐性を評価することができます。ソースコードやドキュメントは以下から入手可能です。
    https://github.com/cleverhans-lab/cleverhans
  • OpenAttack
    OpenAttackは「言語モデルのセキュリティを評価するツールキット」です。このツールキットには、15種類の言語モデルに対する敵対的攻撃手法が実装されており、開発した言語モデルの評価、モデルの堅牢性の測定など、幅広い用途に使用することができます。ソースコードやドキュメントは以下から入手可能です。
    https://github.com/thunlp/OpenAttack
情報ソース
https://github.com/Trusted-AI/adversarial-robustness-toolbox
https://github.com/cleverhans-lab/cleverhans
https://github.com/thunlp/OpenAttack

AIセキュリティのランドスケープ「MITRE ATLAS」

掲載日
2021/10/22
タイトル
MITRE ATLAS
内容
MITRE ATLASは、AIへの攻撃手法を体系化したフレームワークであり、サイバーセキュリティ専門家がAIセキュリティに参加することを促す目的で作成されています。このフレームワークは、AIに対する脅威をReconnaissance(偵察)、Initial Access(初期アクセス)、Execution(攻撃の実行)、Exfiltration(データの持ち出し)、Impact(攻撃の影響)などにカテゴライズしており、カテゴリ毎に具体的な手法/技術を網羅しています。また、実際の製品やサービスに対する攻撃検証事例が「ケーススタディ」として公開されており、どのような手順で攻撃に至ったのか、その経緯が分かりやすく纏められています。MITRE ATLASを参照することで、攻撃者目線でAIに対する攻撃手法を理解することができます。
情報ソース
https://atlas.mitre.org/