This slides were used for the BoF, titled "Network Disaster Drill", 35th JANOG at Shizuoka Pref. Univ. in 14th Jan 2015.

1. 2015.01.14 高知工科大学 菊池豊 1
ネットワーク災害訓練
もといネットワーク防災訓練？
BoF
JANOG35 @静岡県立大学

2. 静岡・高知といえば…�
2015.01.14 高知工科大学 菊池豊 2
http://www.bousai.go.jp/jishin/nankai/model/15/pdf/kisya_3.pdf�
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
132.0 136.0 140.0
32
34
36
2003
6 6.9 km2 2.1 km2
6 2.8 km2 0.5 km2
0.7 km2 0.03 km2

3. ということで�
• ネットワーク防災訓練やってます
• あなたのネットワーク、丈夫ですか？
• あなたの組織、大丈夫ですか？�
2015.01.14 高知工科大学 菊池豊 3

4. ネットワーク防災訓練とは�
• 障害を意図的に入れてどうなるかを検証
– ネットワークの振る舞い
– 管理者（教員、職員）の振る舞い
– 業務委託先の振る舞い
• 丈夫さの確認と改善のヒント
2015.01.14 高知工科大学 菊池豊 4

5. ザックリ長期計画を言うと�
• 2013年度は差障りなく切ってみる
– ハイハイって、当たり前の結果がでるような感じ
• 2014年度はちょっと真剣に切ってみる
– こんなことが分かるんですよ、って言える様にな
るはずなので
• 全国で切る様に勧めたい
– いまここ！
• 最終ゴールは法制度による義務化
2015.01.14 高知工科大学 菊池豊 5

6. 2回やりました。�
• 第1回�2014.01.05
– 冬休み終了直前の日曜日
• 第2回 2014.09.22
– 夏休み終了直前の平日
• 学生は休み
• どちらも休みに引っ掛けて…
– 教員、職員、アルバイトの学生君たちを動員
2015.01.14 高知工科大学 菊池豊 6

7. 背景となるネット環境�
• 高知学術情報ネットワーク�
• 高知県内の高等学術機関のコミュニティ
– 高知大学
– 高知高専
– 高知県立大学
– 高知学園短期大学
– 高知工科大学
2015.01.14 高知工科大学 菊池豊 7

8. 高知学術情報ネットワーク L2
（Ethernet / VPN レイヤ）�
9�
高知県
情報ハイウェイ
高知IX�高知PoP
県内小中高
高知IX 松山PoP
高知IX 南国PoP
高知工科大学�
2015.01.14 高知工科大学 菊池豊
高知学術情報ネットワーク�

9. 高知学術情報ネットワーク L3
インターネットレイヤ�
10�
NII
SINET4
AS2907�
高知高専
AS55909
103.12.158.0/24
2001:df0:2cc::/48
高知県立大学�
高知短期大学�
AS55912
103.15.39.0/24
2001:df0:2f5::/48
高知大学
AS58652
133.97.0.0/16
高知工科大学
AS17521
222.229.64.0/20
2404:1b00::/32�
グローバル
インターネット�
グローバル
インターネット�
グローバル
インターネット
IXL
高知IX
AS24229�
2015.01.14 高知工科大学 菊池豊
高知学園
短期大学
AS59100
103.39.113.0/24
2001:df0:b400::/48

10. 第1回スケジュール�
• 2013年末までに入念な準備
– 実はここが一番大変
• 2014.01.05 当日
– 全組織で待機して状況を見続けている
– 高知IXで障害を出す
• 障害
– 05:00〜 ユーザ収容リンク障害
– 06:00〜 SINET4リンク障害
– 07:00〜 コアSW障害、複合障害
• ミーティング 10:00〜 ホットなうちに
2015.01.14 高知工科大学 菊池豊 11

11. 第2回スケジュール�
• 当日までに入念な準備
– なんども言いますが、実はここが一番大変
• 2014．09．22 当日
– 17:00〜21:00 各組織で障害を出してみる
– 21:00〜23:00 高知IXで障害を出してみる
• 障害（一部）
– エアコン止める、UPSの入りを落とす、L2ループ
– 被災したという仮定で警備室に連絡を入れる
– 仮想サーバをピンから作ってリストアする
• ミーティング 23:00〜 ホットなうちに
2015.01.14 高知工科大学 菊池豊 12

12. 第2回目でわかったこと�
• マニュアルを厳密に書くと、マニュアルミスると運
用もミスる
• 守衛室に連絡したからといってネットワーク運用部
隊に連絡が来るとは限らない
• UPS を落としたからといって、穏やかにOSが落ち
るとは限らない
• NMSで全部の障害が把握できるとは限らない
• 衛星携帯電話が機能するとは限らない
• IPv6 はやっぱり上手く動かない�
2015.01.14 高知工科大学 菊池豊 13

13. IPv6 といえば�
• 障害があってもあまり問題ない？
– 「なんかおかしーなー」ぐらい…か…
– ネットワーク防災訓練で意図的にウォッチしている
と分かる
• 訓練で色々と見つかった
– フィルタの設定がおかしい
– やっぱり ICMP (PMTUD) が通らない
– ルータにバグ
• ipv6 トランジットパケットのみ MTU が小さくなる�
2015.01.14 高知工科大学 菊池豊 14

14. まとめ�
2015.01.14 高知工科大学 菊池豊 15
• ネットワーク防災訓練の立案と実施
– 高知IXを用いた高知学術情報ネットワークで
• 平時ではわからなかった不具合の発見
– 想定通りに想定外のことが起こった

15. 内緒の�その他�
2015.01.14 高知工科大学 菊池豊 16
• core SW の firmware が最新版に
– 堂々と reload できるので
• ファイバが整理整頓された
– 後から後から足してスパゲッティ状態だった
• 運用者的には大きなインセンティブではな
いでしょうか！！�

16. さあ、みんなすぐに着手だ！�
• きっとみんなはやらない…
• なぜか？�
2015.01.14 高知工科大学 菊池豊 17

17. 色々と聞いてみた…�
• どうやれば何がわかるのか…
– 自由度が高すぎる
• みんな協力してくれるのか…
– 総意が得られない
• 本当にできるのかしら…
– 半信半疑？
• 営業中のネットワークを止められるか…
– お客様は神様です
• 大変良いことだから是非やってください…
– 「こっちでもやります」「協力します」とは言ってくれ
ない…
2015.01.14 高知工科大学 菊池豊 18

18. 大変な理由のひとつは…�
• いかにも人工的な感じになってしまう…
– 一箇所をリモートで落とす
– DCに行って SFP から LC コネクタを外す…
• 自然な?障害を作りにくい…
2015.01.14 高知工科大学 菊池豊 19

19. 大変な理由のもう一つは�
• 障害の記録を取るのが大変
– CLI, SNMP, syslog
– そもそも取れないかも
• あとから解析するのが大変
– とにかく量が多い
– 記録を並べて同時刻がどこかを探さないと�
2015.01.14 高知工科大学 菊池豊 20

20. じゃあ、それを自動化すれば…�
• 次に続く…�
2015.01.14 高知工科大学 菊池豊 21

21. 予算を頂いております�
• 本気で切るには公のプロジェクトにしないと…
– 総務省 SCOPE （通称：先進アプリ）
• 分散システムの耐災害性・耐障害性の検証・評価・反
映を行うプラットフォームとビジネスモデルの開発
• 受付番号：140201003
– 総務省�SCOPE （地域型）
• 災害時に事業継続性を発揮する情報通信インフラのた
めの運用計画改善手法および冗長化技術の研究開発
• 受付番号：132309010
2015.01.14 高知工科大学 菊池豊 22

22. 2015.01.14 高知工科大学 菊池豊 23
お後がよろしいようで�