AIセキュリティ 情報発信ポータル

本ポータルはAIの開発者や利用者の皆様に対し、AIに対する攻撃手法と防御手法を発信することを目的としており、AIの開発時・利用時に認識しておくべきセキュリティのポイントを体系的に纏めていきます。なお、本ポータルは、総務省様の「5G端末等におけるセキュリティ確保のための技術課題の整理と情報発信」の一環として運用されています。

背景

近年、ディープラーニングをはじめとする様々な機械学習を活用したAI*1の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術など、様々な分野でAIの社会実装が進んでいます。 その一方で、AIに対する攻撃手法も数多く生まれており、「AIを防御する技術」の確立が急務となっています。

しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術のみで対策することは非常に困難です。

そこで本ポータルでは、AIの開発者や利用者の皆様に対し、AIセキュリティに関する話題を幅広く・分かり易く取り上げて発信していきます。なお、本ポータルでは、単にAIに対する攻撃手法や想定されるリスクのみを取り上げるのではなく、AIを攻撃から守る方法や気を付けるべきAI開発のポイントなども取り上げていきます。本ポータルが、皆様のAIセキュリティの理解の一助になれば幸いです。

*1..【本ポータルにおけるAIの定義】本ポータルでは、画像分類や音声認識など、通常は人間の知能を必要とする作業を行うことができるコンピュータシステム、とりわけ機械学習を使用して作成されるシステム全般を「AI」と呼称することにします。

AIセキュリティ・マトリックス

AI開発においてセキュリティを考慮していない場合、攻撃者が学習データに細工したデータを含ませることで、AIの判断に誤りを生じさせることや、AIシステム自体にバックドアを設置されるなどの問題が生じる可能性があります。

よって、AI開発の各工程でセキュリティを意識しながら開発を進める必要があります。

本ポータルでは、AI開発の各工程で気を付けるべきセキュリティのポイントを理解していただくために、AIに対する攻撃手法と防御手法をAI開発の各工程に合わせて体系化した「AIセキュリティ・マトリックス」を提供します。 本マトリックスを参照することで、各工程で気を付けるべきセキュリティのポイントが理解できるでしょう。

開発工程 攻撃分類 攻撃手法 防御手法
学習データの収集/作成
(Data Preparation)
データ汚染
モデルの学習/作成
(Model Fitting)
モデル汚染
  • 信頼できる事前学習モデルの利用
  • 信頼できるAI開発会社の利用
  • サンドボックス環境の利用
  • 必要最低限の権限によるAIの稼働
  • 最新バージョンの機械学習フレームワークの利用
モデルの設置
(Deployment)
敵対的サンプル
  • 敵対的学習
  • データ拡張
  • ネットワークの蒸留
  • アンサンブルメソッド
  • 特徴量の絞り込み
  • AIによる検出
データ窃取 T.B.A T.B.A
モデル窃取 T.B.A T.B.A

※AIセキュリティ・マトリックスは月に2回程度更新を行っていき、2022年3月末日にはすべてのコンテンツが揃う予定になっています。