セキュリティnews

三井物産セキュアディレクションとChillStack、AIを守る技術に関する共同研究を開始
〜 AIに対する攻撃手法を検証・体系化、攻撃に対する防御技術の実証実験を実施〜

三井物産セキュアディレクション株式会社（代表取締役社長：神吉敏雄、以下「三井物産セキュアディレクション」）と株式会社ChillStack（代表取締役CEO：伊東道明、以下「ChillStack」）は、AI^*1の開発・提供・利用を安全に行うためのAIを守る技術に関する共同研究（以下「本共同研究」）を開始しました。

【本共同研究の背景】

近年、AI技術の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術等、様々な分野でAIの社会実装が進んでいます。その一方で、AIに対する攻撃手法も数多く生まれ、防御技術の確立が急務となっています。しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術で対策することは非常に困難です。

下図は、AI開発の工程^*2と、各工程で想定される脅威^*3の一例を示しています。

AI開発の各工程と想定される脅威

各開発工程でセキュリティを考慮していない場合、攻撃者が細工したデータが学習データに注入されることで、AIにバックドアが設置されてしまう問題や、AIの入力データが偽装されることで、AIの判断に誤りが生じる問題等が顕在化するおそれがあります。

【共同研究概要】

本共同研究では、既知の攻撃手法の検証と体系化を行いながら、新規の攻撃手法と防御技術の研究も同時に進めていきます。

【ハンズオン・トレーニング】

実証実験の結果等を元に、AIの安全を確保する技術を普及する活動の1つとして、「一からAIの安全確保技術を習得」できるハンズオン・トレーニングを開発・提供します。

2020年5月頃から、下記内容のハンズオン・トレーニングを提供開始する予定です。

AIを騙す攻撃
人間には識別できない小さな変化を加えたデータを使用し、AIを意図的に騙す攻撃手法と対策を学びます。
AIを乗っ取る攻撃
AIが学習するデータセットを汚染し、AIにバックドアを仕込むことでAIに意図した挙動をさせる攻撃手法と対策を学びます。
AIシステムへの侵入
機械学習フレームワークの仕様を悪用し、システムへ侵入する攻撃手法と対策を学びます。

なお、ハンズオン・トレーニングの内容を随時アップデートしながら、機械学習未経験者向けやAIセキュリティ上級者向けのトレーニング教材も今後提供していく予定です。

三井物産セキュアディレクションとChillStackは、セキュアなAIを構築する支援を通じて、AI技術の発展に寄与してまいります。

*1 ディープラーニングをはじめとする機械学習を活用したシステムを指します。
*2 開発工程の一例であり、組織によっては別の開発工程を採用している場合もあります。
*3 脅威の一例であり、他にも考慮すべき脅威はあります。

【研究担当者】

名前	所属	活動歴
米山俊嗣	三井物産セキュアディレクション先端技術セキュリティセンターセンター長	Bug bounty hunter 修正済みの脆弱性報告件数 (CVE^*4取得) 47件（2016～） Hack2Win (CODE BLUE) 3位（2017） Black Hat Arsenal ASIA 登壇（2018, 2019） DEF CON DemoLabs 登壇（2018） Bsides Tokyo 登壇（2018） JANOG 41 Meeting 登壇（2018）
高江洲勲	三井物産セキュアディレクション先端技術セキュリティセンターセキュリティエンジニア	セキュリティ・ネクストキャンプ講師（2019） SECCON ワークショップ講師（2019） Hack In The Box - AI Challenge 審査員（2019） CODE BLUE Briefings/Blue Box 登壇（2016, 2019） Black Hat Arsenal ASIA/USA/EURO 登壇（2016, 2018, 2019） DEF CON DemoLabs/AI Village 登壇（2018） BSides Singapore/Tokyo 登壇（2019） PYCON JP 登壇（2017）
廣田一貴	三井物産セキュアディレクション先端技術セキュリティセンターセキュリティエンジニア	セキュリティ・キャンプ講師（2015, 2016, 2019） SECCON2013 東海大会優勝 SANS Netwars 3位（2014）電気通信大学　講演講師（2017～）サイバーセキュリティ関連書籍の執筆（2015～）
伊東道明	ChillStack 代表取締役CEO	IEEE CSPA 2018 Best Paper Award セキュリティキャンプフォーラム2018 最優秀賞セキュリティ・ネクストキャンプ講師（2019）公益財団法人クマ財団2期生選出（2019） SECCON NOC運営（2017） SECCON ワークショップ講師（2019）
市川遼	ChillStack テクニカルアドバイザー	CTFチーム TokyoWesterns リーダー HITCON CTF Finals 3位（2019） DEF CON CTF Finals 出場（2018, 2019） WCTF 1位（2018） CODE BLUE Briefings 登壇・U25最優秀発表（2019） AIS3 (台湾) 講師（2019） NDSS Workshop on Binary Analysis Research (BAR) 招待講演（2019） ISUCON8 優勝（2018）
長澤駿太	ChillStack データサイエンティスト	Peakers Academy Gunosy Cup 3位（2019） DeNAデータ解析コンペティション優勝（2019） Signate AI創薬 : 薬物動態パラメータ銀メダル（2019） NLP若手の会第14回シンポジウム発表（2019）言語処理学会第26回年次大会投稿（2019） ACL網羅的サーベイ報告会登壇（2019）

*4 Common Vulnerabilities and Exposures。製品やサービス等の脆弱性を識別する世界共通の識別子。

【会社概要】

三井物産セキュアディレクション株式会社

所在地：東京都中央区日本橋人形町1丁目14番8号郵船水天宮前ビル6階
代表者：代表取締役社長　神吉敏雄
事業内容：
　情報セキュリティに関するプロフェッショナルサービス
　情報セキュリティに関するマネージドサービス
　情報セキュリティに関するコンサルティングサービス

2001年に設立された三井物産セキュアディレクション株式会社は、ペネトレーションテスト/TLPT/レッドチーム、Webアプリケーションやネットワーク脆弱性診断等の各種診断サービス、マルウェア解析、アドバンストSOC、Threat Huntingサービス等の高度なセキュリティ技術サービスおよびコンサルティングサービス等を提供するサイバーセキュリティ専門企業です。

詳細は、ウェブサイト（https://www.mbsd.jp/）をご覧ください。

株式会社ChillStack

所在地：東京都小金井市梶野町1丁目2番36号
代表者：代表取締役CEO　伊東道明
事業内容：
　AIを用いたID不正検知システムの提供
　AIに関するシステム開発・コンサルティング
　ログ解析によるサービス支援

株式会社ChillStackは、AIを用いた高精度な不正検知システム「Stena」をはじめとして、既存のサイバーセキュリティ技術をAIで進化させ、AI自身を守るセキュリティ等、新たなセキュリティ技術を開発・提供する企業です。

詳細は、ウェブサイト（https://chillstack.com/）をご覧ください。