2022年3月15日：
- AIセキュリティ・マトリックスに「汚染データの検知」を掲載しました。
- トピックに「AIセキュリティのためのリスク管理フレームワーク」を掲載しました。
近年、ディープラーニングをはじめとする様々な機械学習を活用したAI*1の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術など、様々な分野でAIの社会実装が進んでいます。 その一方で、AIに対する攻撃手法も数多く生まれており、「AIを防御する技術」の確立が急務となっています。
しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術のみで対策することは非常に困難です。
そこで本ポータルでは、AIの開発者や利用者の皆様に対し、AIセキュリティに関する話題を幅広く・分かり易く取り上げて発信していきます。なお、本ポータルでは、単にAIに対する攻撃手法や想定されるリスクのみを取り上げるのではなく、AIを攻撃から守る方法や気を付けるべきAI開発のポイントなども取り上げていきます。本ポータルが、皆様のAIセキュリティの理解の一助になれば幸いです。
*1..【本ポータルにおけるAIの定義】本ポータルでは、画像分類や音声認識など、通常は人間の知能を必要とする作業を行うことができるコンピュータシステム、とりわけ機械学習を使用して作成されるシステム全般を「AI」と呼称することにします。
AI開発においてセキュリティを考慮していない場合、攻撃者が学習データに細工したデータを含ませることで、AIの判断に誤りを生じさせることや、AIシステム自体にバックドアを設置されるなどの問題が生じる可能性があります。
よって、AI開発の各工程でセキュリティを意識しながら開発を進める必要があります。
本ポータルでは、AI開発の各工程で気を付けるべきセキュリティのポイントを理解していただくために、AIに対する攻撃手法と防御手法をAI開発の各工程に合わせて体系化した「AIセキュリティ・マトリックス」を提供します。 本マトリックスを参照することで、各工程で気を付けるべきセキュリティのポイントが理解できるでしょう。
| 開発工程 | 攻撃分類 | 攻撃手法 | 防御手法 |
|---|---|---|---|
|
学習データの収集/作成 (Data Preparation) |
データ汚染 |
|
|
|
モデルの学習/作成 (Model Fitting) |
モデル汚染 |
|
|
|
モデルの設置 (Deployment) |
敵対的サンプル | ||
| データ窃取 |
|
||
|
|||
| モデル窃取 |
|
※AIセキュリティ・マトリックスは月に２回程度更新を行っていき、2022年3月末日にはすべてのコンテンツが揃う予定になっています。