Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

2018年9月日経BPセミナー

154 vues

Publié le

AI/クラウド時代のセキュリティ対策  進化する脅威に最新のテクノロジーで対抗する

Publié dans : Ingénierie
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

2018年9月日経BPセミナー

  1. 1. 深層・強化学習で先鋭化する サイバー防御技術と「反脆弱性」 国立情報学研究所 特任准教授 安藤類央 日経BP情報セキュリティ戦略セミナー Web公開版 rev. 2018.10.21
  2. 2. 【概要】深層・強化学習で先鋭化するサイバー防御技術と 「反脆弱性」 深層学習の導入により先鋭化する情報セキュリティの事例を紹介 するとともに、運用上の人間とAIの関係の変化を、「反脆弱性」と いう観点から解説します。 【0】はじめに 【1】深層学習・強化学習の概要 【2】サイバー防御技術への適用 【3】AIが「果ての国」を連れてくる 【4】「果ての国」と反脆弱性
  3. 3. 反脆弱性とは – 果ての国でのサバイバル ❑反脆弱性:「いかに壊れないかではなく、どのように壊れるか?」を問題にする。 ❑世の中の半分のものには名前がない – Fragile(脆弱)とBrittle(頑健)と Antifragile(反脆弱) ❑Antifragileは、セキュリティの分野でいうResilienceが意味が近い。 ❑ 【反脆弱性のモットー】測れるものを重視する。防止と予測に加えて、「システム がどれくらい脆弱か?」を重視する。 ❑【反脆弱性のモットー】「破壊不可能」「絶対」「偽造不可能」「貫通不可能」と いった言葉は無益である。こういう言葉を発する人はセキュリティをまるでわかっ ていないか、ごまかそうとしているかのどちらかだ。 - 「セキュリティはなぜ破られたか」 ブルースシュナイアー
  4. 4. 深層学習・強化学習の概要
  5. 5. AIアルゴリズムの3分類 ①教師あり学習 - Misuse Detection バイオメトリクス、スパムメール検知等 パターンマッチング, 損失関数 どれだけ近いかを計ることが多い。 ②教師なし学習 - Anomaly detection クレジットカードの不正利用検知、システム侵入検知等 クラスタリング, 距離関数 どれだけ遠いかを計ることが多い。 ③強化学習 AIが正解を確かめることができる事例(Alpha Go等) 探索、報酬関数
  6. 6. 深層学習:「データの不合理な有効性」 ツイッターの誕生以降に投稿されたツイートをすべて保 存するには、高性能のノートパソコンを1台買うくらい の予算があれば充分 1兆個の項目を含む乱雑なデータセットを使う機械学習は、わずか100万個の項目しか入っていないク リーンな データセットを使う機械学習が全く役に立たないような作業に対して有効になる。 直感的には100万個ものデータが入っている訓練セットで うまくいかない学習アルゴリズムなら、直感的な結論としては1兆個の乱雑なデータセットでもまった く動かないということになる。 シンギュラリティ人工知能から超知能へ マレー シャナハン 動画でライフログを常時記録する場合、 データの量は一人当たり700ギガバ イト、アメリカ人全員のデータを残す 場合、年間2エクサバイトで、必要な 費用は2000万ドル。 http://blog.mortardata.com/post/31027073689/ho w-much-would-it-cost-to-store-the-entire-twitter Revisiting Unreasonable Effectiveness of Data in Deep Learning Era IEEE Intelligent Systems archive Volume 24 Issue 2, March 2009 Pages 8-12 Chen Sun(Google), Abhinav Shrivastava(Google), Saurabh Singh(Google Research), and Abhinav Gupta(Google Research, Carnegie Mellon University)
  7. 7. 深層学習:大規模データが扱えるようになる ボルツマンマシーン(ドロップアウト)ボルツマンマシーン(ドロップアウト) 出力層 入力層 隠れ層 自己符号化:入力層と出力層を同じ値にする 隠れ層に情報が圧縮される レイヤーワイズ:隠れ層を段階的に チューニングする 完全結合ネットワークを疎にする。 学習ごとに確率的に結合を変える。
  8. 8. 深層学習:時系列が読めるようになる 出力層 時刻t 時刻t 時刻t 時刻t-1 時刻t-2 隠れ層 入力層 リカレントニューラルネットワーク 静的なモデルだが、過去の情報が隠れ層に保存される。 rnn.c:138: for(j=0;j<HIDDENNO;++j){/*中間層の各セルjを対象*/ rnn.c:139: dj=hi[j]*(1-hi[j])*wo[j]*(e[INPUTNO+k+HIDDENNO]-o)*o*(1-o) ; rnn.c:140: for(i=0;i<INPUTNO+HIDDENNO;++i)/*i番目の重みを処理*/ rnn.c:141: wh[j][i]+=ALPHA*e[i]*dj ; rnn.c:142: wh[j][i]+=ALPHA*(-1.0)*dj ;/*しきい値の学習*/ rnn.c:143: } bp.c:115: for(j=0;j<HIDDENNO;++j){/*中間層の各セルjを対象*/ bp.c:116: dj=hi[j]*(1-hi[j])*wo[j]*(e[INPUTNO]-o)*o*(1-o) ; bp.c:117: for(i=0;i<INPUTNO;++i)/*i番目の重みを処理*/ bp.c:118: wh[j][i]+=ALPHA*e[i]*dj ; bp.c:119: wh[j][i]+=ALPHA*(-1.0)*dj ;/*しきい値の学習*/ bp.c:120: }
  9. 9. 深層学習*強化学習 → 普遍人工知 能? 戦術 戦略 意思 決定 意思 決定 支援 超大規模検索 (将棋・囲碁) 画像認識 情報集約 文章生成 画像生成 普遍人工知能? 深層学習 強化学習
  10. 10. 強化学習と普遍人工知能 アルファ碁 探索 深層学習 強化学習 Alpha Goの開発フェーズ 強化学習とその中心となる期待報酬の 最大化という概念は特定の問題に 縛られるものではない。実際、我々は この考えに基づいて一種の普遍人工知能の 考え方を明示できる。 普遍人工知能は、どのような世界にいようとも、 限られた限りの情報に基づいて、常に期待報酬を 最大化する行動と選ぶ人工知能だ。 シンギュラリティ人工知能から超知能へ マレー シャナハン 将棋電王戦FINAL第5局、阿久津主税八段は△ 2八角に「貸し出し後、数局で気づいた。素 直に嬉しい感じではない」 https://shogi1.com/denousen-final5-akutsuchikara/
  11. 11. サイバー防御技術への適用
  12. 12. 適用事例 ❑ VulDeePecker: A Deep Learning-Based System for Vulnerability Detection (NDSS 2018) ❑ Deep Exploit (BlackHat 2018) Self-learning: DeepExploit can learn how to exploitation by itself (uses reinforcement learning) ❑ MLSploit: Resilient ML Platform - Advanced Deep Learning Analytic Platform Made Easy for Every Security Researcher (BlackHat 2018)
  13. 13. 教師あり学習・教師なし学習の問題点 • 過学習の問題 あるデータでうまくいった方法を、他のデータにも適用できるとは限らない。 • ブラックボックス・説明できないという問題 人間には計算プロセスが理解できないので、認識率、危険度の指標が算出されてもそれを 説得・説明に使えない。 • 誤警報の問題 積極的誤警報が大量に発生すると、検出システム自体が破たんしてしまう。 • プライバシー侵害の問題 解析目的以外のことが分かってしまうことがある。出力(メタデータ)がプライバシーを 如実に映し出してしまうことがある。
  14. 14. パターンマッチと誤警報の問題 • もともとは生物のサバイバル技術のため、ランダムな視覚デー タからパターンを見るける能力として身につけた。 • 【積極的誤警報】パターンマッチの能力が過剰になり、本当は パターンのないところにもパターンを見てしまうようになった。 • 【能動的誤警報】人間は、ランダムなデータからパターンを読 み取れる反面、均一なデータから例外を読み取ることは難しい。
  15. 15. AIと情報セキュリティ: 深層学習・強化学習が「果ての国」を 連れてくる
  16. 16. 果ての国とは? 2010年代のリスク工学の議論から ❑2010年代からアメリカで起きているデータマイニング、リスク・不確実管理に ついてのコンセプト。 ❑リスク工学専門家のNassim Nicholas Taleb氏によると、事象は「月並みの 国」と「果ての国」で起こる2種類に分類される。 ❑「果ての国」では、データ1つが全体の構成や集計量に大きな影響を及ぼす。 ❑「果ての国」では、データを積み重ねても知識はゆっくりとしか増えない。 ❑「果ての国」では、ほとんど起こりえないが起きれば大きな影響がある事象が 起きる。 Nassim Nicholas Taleb ブラック・スワン[上]―不確実性とリスクの本質
  17. 17. システムが「果ての国」化するとどうなるのか? ❑ 非同期化 自分自身に影響するフィードバックループが山のように存在する。非逐次型のシステムでは、部分間 の影響が順序だっていない。非逐次型のシステムは混とんとしており、部分同士が理解不能な程複雑に影響しあう。 例:非同期回路の検証や、マルチスレッドのデバッグは極端に難しくなる。予測できなくなる。 ❑ 再帰化 知能爆発:身の回りのフィードバックループを持つシステムが急増する自分自身に影響が戻ってくるフィードバッ クループが山のように存在する。香港で飛行機が故障したりローマで予定外のストがおきると、ロサンゼルスや ニューヨークで搭乗手続きをしている乗客が影響を受ける。遠くに影響が行く。 ❑フラット化 フラット化すると、無視してよかった小さな脅威や確率が無視できなくなる。世界がフラット化する前、小さな脅 威は無視してよかった。技術が進歩したため、小さかったはずの脅威が無視できないほど大きくなる。
  18. 18. 【事例】大規模化するサイバー金融犯罪 「科学者たちが100万倍も知能 を高め、100万倍も速く作業す れば、1時間で1世紀分の進展 が見られることになる。」 - シンギュラリティは近い レ イ・カーツワイル ① 2007年のTJマックスのハッキング:4500万人の顧客と金融 データに影響。 ②2011年 ソニーのプレイステーションネットワークのハッキン グ: 7700万人のクレジットカード番号と個人情報が流出。被害は 10億ドルを越えると推定される。 ③2013年 クリスマス商戦時に、ロシアの17歳のハッカーが 米国のターゲット社のネットワークに侵入。1億1千万以上の口座か らデータを盗む。 ④2014年 ロシアのハッキング集団が、42万のWebサイトから 12億人分のユーザ名、パスワードなどを窃盗。 AIの発達に伴い、犯罪がアルゴリズムを実装したスクリプトで行われ、 自動化により必要な人手やコストは小さくなり、効果が大きくなって しまうケースが多くなる。 「自動化も脆弱性を悪化させる 一因となる。同時に、自動化は 攻撃者の友である。5円硬貨を 手づくりで偽造するという攻撃 は心配するほどのことではない。 しかし、これにコンピュータが 加わると様相が一変する。」 - セキュリティはなぜ破られた か ブルース・シュナイアー サイバー金融犯罪は特にこの傾向が強くなる
  19. 19. 果ての国で生き残るための 「反脆弱性」の議論の紹介
  20. 20. 剛性:クラスブレークが可能になる ❏技術が進むと標準化が進み、脆弱性が増える。同じ機能を持つ 部分すべてを破壊する「クラスブレーク」が可能になる。 例:Android OS, Telnet Protocol (IoT) ❏クラスブレークとは、大勢が使っているシステムを使うと危ないことを意味する。 ❏「自動化は攻撃者の友」ー 一度、クラスブレークが見つかれば、何度も自動化 された攻撃が繰り返される。 ❏10万の1回の割合で成功する詐欺は普通非現実的だが、コンピュータによる自動 化により、毎日、数十件は成功してしまうケースが多い。そのため、スパムメー ルがビジネスモデルとして成立する
  21. 21. 剛性:2013年4月23日 シリア電子軍によるハッキング シリア電子軍がAP通信社をハッキングする 「Breaking News: ホワイトハウスで2度の爆発があり、 バラク・オバマが負傷」とのツイートを流す。 HFT(超高速取引)のAIがこのツイートを解析、 大量の株を売りに出す。 3分間で、株式市場全体で1360億円の損害を出した。 HFT(超高速取引)のAI: 高速なクローリングと 自動化された推論によって市場の揺れに反応し、 株取引を行う。 例:トムソン・ロイターのHFTアルゴリズム 5万のニュースソースと400万のソーシャル メディアサイトをスキャンし、毎秒何兆回の 計算を行い、取引は50万分の1秒もかからずに 行える。 AP通信社のツイートは「Breaking」で始まるが、 シリア電子軍のツイートは「breaking」で始まっ ていた。 100万分の何秒で測られ、指数関数的に加速する 世界では、アルゴリズムが暴走すると人間に介入 する時間はない。
  22. 22. 創発特性と攻撃 ❑ システムとは予想もしなかった形で他のシステムと影響を及ぼしあ う。これを創発特性(意図せざる結果)という。 ❑自動車が普及して郊外が発達した。 ❑銀行の金庫をダイナマイトにも耐えられるように固くした→人質事 件が増える→時限錠が取り付けられる ❑創発特性は困ったことにも使えるが、それを攻撃者が見つけて攻撃 してくるから対策の欠陥が見つかる。 ❑化学反応や製造工程とは違い、セキュリティはテストができない 問題が起きて初めてテストできたことになる。
  23. 23. 反脆弱性:人間が中心、AIが周辺(1) ❑セキュリティはトレードオフ(程度)の問題であり、主観的な もの(関係者の思惑が絡むため)。 ❑【帰無仮説の証明】ある対策やシステムのセキュリティが万全だと 証明することは不可能である。不完全だと証明できるか、証明に失敗 するしかありえない。そのため、システムの評価は人間が繰り返し行 うしかない。 ❑対応が決まっている防御より、変化にすばやく対応する臨機応変な 防御の方がセキュリティが高い。特に突発的なインシデントやサイ バーテロに関しては人間の「創発特性」が必要になる。
  24. 24. 3種類の脆弱性の空間 AIで認識できたインシデントの集合 実際に起きたインシデントの集合 インシデントを引き起こす(ゼロデイも含む)脆弱性と原因の集合 これらの脆弱性に連続性はなく、 一方から他方への類推は難しい? 後付けで逆向きに矢印を引くこ とはできるが。。。

×