2019年10月14日(月)から10月17日(木)にかけて、アラブ首長国連邦のアブダビで開催されたHITB+ CyberWeekのコンテスト「AI Challenge」に審査員として参加しましたので、その模様をレポート致します。今後、同コンテストに応募される可能性のある方々の参考になるよう、コンテストの内容や審査の模様などを紹介します。

1. HITB（Hack In The Box）とは?

 HITBとは、毎年オランダ、アラブ首長国連邦、シンガポールで開催されるサイバーセキュリティのカンファレンスであり、研究発表やトレーニング、CTFやツール展示、Villageなどのサブコンテストが多数開催される、コンテンツ豊かなイベントです。サイバーセキュリティのイベントと言うとBlack HatやDEF CONを思い浮かべる方が多いと思いますが、このHITBも毎回世界中から多くの方々が参加しています。今回のHITB+ CyberWeekでは、主催者発表によると約4,600人以上の方々が参加したとの事でした。

 今回のHITBは、アブダビ首長国のEmirates Palaceというホテルで開催されました。

 見ての通り、外観はまさに「宮殿」であり、内装も豪華そのものでした。

 そんなクラシカルで豪華な内装の中に、HITBのサイバーパンクなオブジェが映え、とてもクールな空間に仕上がっていました。以下の写真はHITB+ CyberWeekのメインエントランスです。全面がモニタになっており、目まぐるしくサイバーパンクなグラフィックが映し出されていました。

 以下の写真は、HITBの名物（？）オブジェです。こちらも、目まぐるしくグラフィックが変化し、とてもクールな雰囲気を醸し出していました。

 また、各サブイベント会場も非常にクールでした。

 以下の写真は、CTFイベントである「ProCTF」の会場です。絢爛豪華なパーティ会場のようなホールで、世界各国から集まった猛者が熱い戦いを繰り広げていました。日本のチームも参戦していました。

 筆者が個人的に興味深いと感じたのが「The Stand Off」と呼ばれるコンテストです。

 このコンテストは、近代都市の重要インフラシステムを模したシミュレーション環境を使用し、交通・輸送や発電所のシステム（ICS/SCADA）に対する攻防を行うものです。システムに攻撃を行うRed Team（ProfessionalやScript Kiddieなど、役割が細分化されている）と、それらからシステムを守るBlue Teamに分かれて競技が行われていました。リアリティを高めるために、攻防に連動して都市のミニチュア模型上で実際にアクションが発生していました。また、コンピュータグラフィックスで表されたICS/SCADAの状態がリアルタイムに変化するなど、攻防戦を可視化する工夫がなされており、見ているだけでも非常に面白いコンテストでした。

 また、DEFCONでもお馴染みのChip-OffやLock-Picking、Car-HackingやIoT Villageなどのサブイベントも多数開催されていました。

 このようにHITB+ CyberWeekでは、様々なバックグラウンドや技術を持った方々が楽しむ・学ぶことができるコンテンツが充実していました。

 ちなみに、次回のHITBは2020年4月にアムステルダムで開催されるようです。ご興味のある方は参加を検討されることをお勧め致します。

2. AI Challengeとは?

 今回筆者は、HITB+ CyberWeekの中で開催されたコンテスト「AI Challenge」に審査員として参加しました。

 本コンテストはAI（本Blogでは機械学習を使用した技術と定義する）を使用してセキュリティに関するタスクを自動化する技術を競うもので、以下の2つのエントリで構成されています。

• Challenge 1: ExploAIt
   サーバへの侵入行為を全自動で行うツールを開発し、侵入の精度やツールの独自性・完成度を競う。今後、AIで自動化された攻撃がより一層増加する可能性がある事を念頭に、それらへの対策研究を目的としたチャレンジ。
• Challenge 2: MalwAIre
   アンチマルウェア製品をBypassするマルウェアを自動生成するツールを開発し、Bypassの精度やツールの独自性・完成度を競う。今後、AIを利用したアンチマルウェア製品をBypassするマルウェアが増加する可能性がある事を念頭に、それらへの対策研究を目的としたチャレンジ。

 賞金総額はUSD100,000に設定されており（！）、各チャレンジの優勝チームはUSD50,000を獲得することができます！なお、チャレンジへの参加資格は緩く設定されていますが、チームメンバー構成については、以下のルールを厳守する必要があります。

• 各チームは3～5人で構成すること
• 各チームに最低1人以上のフルタイム学生を含めること
• 残りのメンバーはパートタイムまたは社会人の学生とすること

 つまり、このコンテストは若手の育成を目的としています。

 今回は、上は社会人学生、下は高校生まで幅広い年齢層の方々が参加していました。なお、本コンテストが開催されたアブダビ首長国は、IT産業（とりわけAI）の育成に力を入れており、若手の人材育成に積極投資しています。また、アブダビに関わらず、AI技術を人手不足解消や業務効率化に活用する動きは世界中で加速していますので、本コンテストはその流れに沿ったコンテストと言えます。

2.1. 審査員して参加した経緯

 筆者がどのような経緯でAI Challengeの審査員になったのか簡単に説明します。

 今回は大変有り難いことに、HITBのOrganizerであるKannabhiran氏からメールでお誘いを受け、参加する形となりました。

 というのも、筆者は昨年Black Hat Arsenal USAとEUROで「DeepExploit」というツールを発表しましたが、DeepExploitのコンセプトが「Challenge 1：ExploAIt」と殆ど一致していました。その事もあり、DeepExploitの開発者である筆者が目に留まり、審査員としてお誘いしたとの事でした。筆者が考えていた以上に海外カンファレンスでの発表内容が広く知られていた事と、そのような発表が今回の縁に繋がったことに驚き、また大変光栄に思いました。

 筆者はこれまで海外カンファレンスで審査員を務めた経験はなく、お誘いを受けたときは多少の不安はありました。しかし、人材育成に対するKannabhiran氏の情熱や、筆者がスタッフとして参画しているMINI Hardeningプロジェクト、（お誘いを受けた時点で）講師として参加する予定となっていたセキュリティ・ネクストキャンプなどを通して人材育成に対するモチベーションが高まっていた事もあり、有り難く審査員を引き受ける事にしました。

3. オンライン予選

 AI Challengeは7月～8月中旬にかけて、オンライン予選を行いました。

 

 参加者は、オンライン予選のために用意されたGitHub Organizationに自分専用のリポジトリを作成し、8月中旬の締め切りまでにソースコードおよびドキュメントを置く必要があります。オンライン予選では、ただ単に動作するソースコードを置くだけでは不十分であり、ツールの使い方や技術詳解のドキュメント内容、そしてアイデアの独自性も大きな評価ポイントになります（他のツールや論文の引用だけでは低評価になる）。

 なお、審査員は筆者含めて7名（筆者の他、地元UAEの研究者3人、イタリアの研究者2名、アメリカの研究者1名）で構成されており、応募チームの評価や情報共有はメールやSkypeで行いました。

 今回は非常に多くのチームにご応募いただきましたが、厳正なる審査の結果、以下の5チームがファイナルに進むことになりました。

ツール名称	Challenge	所属
Deep(P)en	ExploAIt	Eindhoven University of Technology
tAIchi	MalwAIre	New York University Abu Dhabi
FullHunt	ExploAIt	New York University Abu Dhabi
Sploit00n	MalwAIre	National Research Nuclear University MEPhI
Dirichlet’s Principle	MalwAIre	American University Sharjah University of Toronto Harvard University

 Challenge1から2チーム、Challenge2から3チームが選出されました。

 また、ファイナリストは地元UAE含む、世界各国の大学から集まりました。

 なお、ファイナリストにはファイナルまでにツールを改良する助成金としてUSD10,000が支給され、また、アブダビで滞在するホテルと渡航費が補助されました（もちろん、HITB+ CyberWeekへの参加は無料）。

3.1. 各ツールの概要

 ここで、ファイナリストとなった各チームのツール概要を紹介します。

ツール名称	概要
Deep(P)en	Deep(P)enはDeepExploitをベースに開発されたペンテストツールであり、Intelligence GatheringからPost-Exploitationまで全てを自動で行う。DeepExploitと比較し、Exploitationの成功率が高いのも大きな特徴（DeepExploit比3倍程度）。
tAIchi	tAIchiは、Generative Adversarial Networks（GANs）とDeep Reinforcement Learningを組み合わせたマルウェア生成ツールであり、Virus Totalで9割以上のアンチマルウェア製品で検知される既知マルウェアを変異させ、その検知率を大幅に下げる事が可能なマルウェアを生成する。
FullHunt	FullHuntはDeepExploitをベースに開発されたペンテストツールであり、Intelligence GatheringからPost-Exploitationまで全てを自動で行う。また、侵入したサーバ上で取得したデータを外部のサーバに自動転送することも可能（Data Exfiltration）。
Sploit00n	Sploit00n（別名Malwario）はGANsを使用したマルウェア生成ツールであり、Virus Totalで9割以上のアンチマルウェア製品で検知される既知マルウェアを変異させ、その検知率を大幅に下げる事が可能なマルウェアを生成する。GUIが充実しており、そのまま商用利用できそうなツール完成度となっている。
Dirichlet’s Principle	Dirichlet’s PrincipleはReinforcement Learningを使用したマルウェア生成ツールであり、既知のマルウェアを変異させ、アンチマルウェア製品をBypassする事が可能なマルウェアを生成する。

 どのツールも完成度が高く、募集開始から2か月足らずで開発したとは思えないほどの完成度でした。機械学習を適材適所に当たり前のように使いこなし、その理論解説もしっかりとされていました。このため、ファイナルの審査はかなり厳しくなることが予想されました。

4. ファイナル

 ファイナルは10月15日(火)～17日(木)にかけてHITB+ CyberWeekの会場であるEmirates Palaceにて行われました。15日～16日は一般の来場者向けのアピールタイム、17日に最終審査が行われました。

 アピールタイムでは、ファイナリスト達はAI Challenge専用のブースに朝から夕方まで待機し、来場者に対してツールデモやプレゼンを行います（Black Hat ArsenalやDEF CON Demo Labsのようなイメージ）。

 筆者も審査員の身分を隠し、一般来場者に紛れて様々な質問やデモンストレーションを見せて貰いました。

4.1. 最終審査

 17日(木)の12時～15時にかけて、特設ブースにて最終審査会を行いました。

 最終審査会は一般の聴講者と審査員、そして各チームが特設ブースに集まり、各チーム30分（プレゼン：20分、Q&A：10分）の持ち時間で自身のツールの素晴らしさをアピールしました。

 各チーム共に、「APIの開発担当」「GUIの開発担当」「機械学習モデルの開発担当」「チームマネジメント担当」などのように、メンバーの役割が明確に細分化されており、さながら実務のプロジェクトチームの様でした。

 最終審査では、審査員から容赦ない質問がQ&Aタイムのみならず、プレゼン中にも飛び交います。筆者も機械学習絡みのマニアックな質問を幾つか行いました。しかし、どのチームも、（一瞬戸惑う素振りを見せた方もいましたが）黙り込むことなく、的確またはより的確な答えに近似した回答を堂々と行っていました。非常にプレゼン慣れしている印象を受けました。

4.2. 結果発表

 3時間におよぶ審査会が終了し、いよいよ優勝チームを決定します。

 審査員達は一旦会場の外に出て、各人の意見を出し合いながら各チームの評価を行いました。

 審査の詳細は書けませんが、概ね以下のような観点で評価を行いました。

• ツールの完成度
• ツールの独自性
• プレゼンテーションの内容
• メンバー構成

 ツールやプレゼンテーションの内容は勿論ですが、本コンテストは人材育成の側面もあるため、チームメンバーの構成も考慮に入れて評価を行いました。どのチームもレベルが高かったため、かなり議論は白熱しました。そして、当初は1位と2位を各1チーム選ぶ予定でしたが、甲乙つけ難い争いになったため、急遽1位を2チーム、2位を1チーム選ぶ事になりました。

 そして、厳正なる審査の結果は以下の通りになりました！

順位	チーム名	所属
1	Sploit00n	National Research Nuclear University MEPhI
1	tAIchi	New York University Abu Dhabi
2	Dirichlet’s Principle	American University Sharjah University of Toronto Harvard University

 1位となったSploit00nとtAIchiはプレゼンテーションが大変素晴らしく、ツールの完成度も非常に高いものでした。

 Sploit00nはツールとしての完成度が高く、そのまま商用利用できそうな程の完成度でした。プレゼンテーションはツールのデモ中心でしたが、ツールのGUIが大変素晴らしく、使い勝手も考慮されたインタフェースでした。このようなクオリティのツールを2か月足らずで開発したエンジニアリング力に驚かされました。

 一方のtAIchiは、アイデアに独自性（GANsとDeep Reinforcement Learningを組み合わせたモデルでマルウェアを自動生成する）があり、また、技術解説が詳細でした（ドキュメントは論文と見間違える程の完成度）。また、事前に商用製品さながらのチラシも作成しており、プレゼンテーション資料も大変分かり易いものとなっていました。

 惜しくも2位となったDirichlet’s Principleは、ツールの完成度は高かったものの、ドキュメントのクオリティ面で僅かに1位のチームには及びませんでした。しかし、メンバーに高校生が含まれており、非常に堂々とプレゼンをしていました。そのような若年層の活躍が、高評価に繋がりました。

 表彰式が終わった後、各チームはお互いの健闘をたたえ合い、情報交換なども行っていました。また、惜しくも入賞を逃したチームが自分たちの改善点について審査員にアドバイスを求めるなど、非常に熱心な姿勢を見せていました。

5. おわりに

 今回はAI Challenge in HITB+ CyberWeekで審査員を務めましたが、非常に充実した4日間を過ごす事ができました。応募者の柔軟な発想やプレゼンテーション力、そして高いエンジニアリング力を目の当たりにし、筆者自身も大いに刺激を受けました。

 筆者は決して若いとは言えない年齢ですが、まだまだ分からない事や改善すべきこと、学ぶべき事が山積していますので、これを機により一層レベルアップに励みたいと思いました。それと同時に、自身の経験（の中で継承すべきこと）を若い世代に伝える活動も行っていきたいと思います。

 なお、弊社でも若手の人材育成に力を入れており、セキュリティエンジニアの創出を目指した専門学校・高等専門学校生を対象とした「MBSD Cybersecurity Challenges」を開催しています。今年で4回目を数えますので、ご興味のある方は、是非こちらもご参照いただけると幸いです。

以上