データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
•
18 j'aime•2,460 vues
http://www.impressbm.co.jp/event/dcc2013summer/ ビッグデータが注目を集めているが、以前から相当量のデータを扱う分野がある。それは天文学である。 科学的成果の発見のため、国立天文台は大量の天文データを高速に処理するためのさまざまな研究開発を行っている。そうした取り組みの1つに、急速に処理性能が向上しているPCサーバー、ストレージデバイス、ネットワークデバイスを徹底的に活用し、廉価に100Gbpsを超える通信を処理するシステムの研究開発がある。 この研究開発では、天文学の発展はもとより、その汎用性を生かして、高性能で廉価なプライベートクラウドの構築と運用への応用も進めている。 本講演では、本開発に携わる国立天文台・天文データセンターの大江将史氏を交え、こうした分野のトレンドや課題、解決のポイントなどを対談形式で議論する。
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (8)
En vedette
En vedette (9)
Similaire à データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
Similaire à データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる (20)
Plus de Masafumi Oe
データセンターカンファレンス基調対談_ネットワーク帯域を使いまくる
- 2. 自己紹介 •大江将史 （おおえ まさふみ） http://fumi.org/ •所属：自然科学研究機構 国立天文台 天文データセンター 助教 •なにしてるのか？ • 専門は、ネットワークセキュリティ、衛星通信、無線通信など • 天文と情報ネットワークの融合に関する研究等 • 国立天文台のネットワーク運用や設計等 「星を見るのにデータセンタ？ネットワーク？」 その疑問はごもっともです． imp_DC2013_OE 2 おおえまさふみ 検索
- 6. 天文学とデジタル化の事例 imp_DC2013_OE 6 高感度CCD -100℃に冷却 合計約8億7000万画素 天体のデジタルデータ 巨大なデジタルカメラ すばる望遠鏡のあたらしい目 HSC: Hyper-Suprime-Cam すばる望遠鏡 複数のデータセンターにてアーカイブ コンピュータで解析 インターネット上で公開 ICTは天文学の発展に貢献
- 9. PCを徹底活用：ULTRA計画(2012～)の背景 10 • 天文学を支えるハイパフォーマンスなネット ワークシステムへの要求 – 天文学専用スパコンシステム（岩手・東京） • 500Tflops 演算ノード （岩手） • ストレージノード（東京） – VLBI観測システム（東京・岩手・沖縄・等） • 観測ノード（各所） • 解析ノード（東京） 今，演算・ストレージ・IPネットワークを効 率よく連携させる仕組みが自然科学の発展には 必要不可欠 ＋プライベートクラウド構築・運用における高 性能・高コストパフォーマンスの実現と構築ノ ウハウの習得 計算ノード ストレージ imp_DC2013_OE
- 10. コストの観点から見る開発・構築ゾーン コスト 性能 カスタムASIC (PC +) FPGA (PC +) FPGA on NIC この領域がULTRA計画の開発ゾーン 11imp_DC2013_OE PC+NIC 40Gbps FPGA フルカスタムチップ 20Gbps NIC + FPGA PC + NIC
- 12. FGPAなど 高価なハードウェア ならでわの領域 安価なPCで踏み込める領域 コストの観点から見る開発・構築ゾーン 13 低遅延性能 広帯域 2012 第1世代 ULTRA40 大沢 PCI-E2.0 10GbE NIC IPフォワーディング 45Gbps 100Gbpsコンテンツ送信性能 2011 PCルータ 20Gbps imp_DC2013_OE ・ gnodal (>150nsec) • Cisco (>60/200nsec) ・ ARISTA (>500nsec)
- 13. 2012年 ULTRA計画初号機 「野川」＆「大沢」 PCで“100Gbps”を実証 •高機能IPルーター 「野川」 • 実効L3 バックプレーン容量 75Gbps • 80Gbps (QSFP+ 40GBASE-R x 1) + 10GbE x 2 • 超高速ストレージモジュール搭載 • 4GByte/sec 連続書き込み可能な超高速ストレージ • ネットワーク速度がディスク速度を超えている． • トラフィックロギング・ストレージアクセラレー タ機能 •高機能IPルーター 「大沢」 • 18 x 10GBASE-R • 実効L3バッププレーン容量 100Gbps • サービス妨害攻撃機能 14imp_DC2013_OE 100Gbps コンテンツ送信能力
- 14. FGPAなど 高価なハードウェアならでわの領域 安価なPCで踏み込める領域 PC性能向上の方向性？ コストの観点から見る開発・構築ゾーン 15 低遅延性能 広帯域 2012 ULTRA40 大沢 45Gbps / 12msec ULTRA40 野川 4GByte/sec SSD Storage 2011 PCルータ 20Gbps ?msec imp_DC2013_OE ・ gnodal (<150nsec) • Cisco (<60/200nsec) ・ ARISTA (<500nsec) 2012年 ULTRA40 「野川」＆「大沢」 多機能IPルーター 4GB/sec 読み書き可能な高速ストレージ 100Gbps コンテンツ送信性能 45Gbps IPフォワーディング性能 18x 10Gbase-R or 2x 40Gbase-R I/F 搭載
- 15. FGPAなど 高価なハードウェアならでわの領域 安価なPCで踏み込める領域 コストの観点から見る開発・構築ゾーン 16 低遅延性能 広帯域 2011 PCルータ 20Gbps ?msec imp_DC2013_OE ・ gnodal (<150nsec) • Cisco (<60/200nsec) ・ ARISTA (<500nsec) 2013年での 挑戦すべき方向性 非常識ですが 風穴をあけてみたい 2012 ULTRA40 大沢 45Gbps / 12msec ULTRA40 野川 4GByte/sec SSD Storage
- 16. PCサーバの性能 「連雀」：高機能PCサーバ・ルータ基盤 imp_DC2013_OE 17 国立天文台が天文データ処理用のPCサーバ / ルーター プラットフォームとし て開発 Linux OSを基に低遅延・広帯域処理能力を目標に設計・開発 PCI-E 2.0 2x 10GbE-SFP+ x 10 (最大12port) Interop2013 オープンルーターコンペティション(ORC) 富士通賞受賞 Intel SandyBridge-E overclock
- 18. FGPAなど 高価なハードウェアならでわの領域 安価なPCで踏み込める領域 PCサーバの性能向上が客観的によくわかる 19 低遅延性能 広帯域 2011 PCルータ 20Gbps ?msec imp_DC2013_OE 2013 ULTRA200 連雀 200Gbps / <17μsec 2012 ULTRA40 大沢 45Gbps / 12msec ULTRA40 野川 4GByte/sec SSD Storage
- 19. PCサーバの性能向上は今後も続く， 2014年には，400Gbps処理能力を有するか？ 2011年 ?? Intel Core + PCI-E2.0 1x10GbE NIC • なんとか10Gbpsを絞り出せるレベル 2012年「大沢」「野川」（第1世代）Intel Nehalem + PCI-E2.0 2x10GbE NIC + Offload • コンテンツ送信力は，100Gbps 2013年「連雀」（第2世代）Intel SandyBridge-E + PCI- E2.0 2x10GbE NIC + Offload • その処理力は，200Gbpsへ向上 2013年「（秘密）」（第3世代）Intel Haswell + PCI- E3.0 NIC Full 40GbE NIC + Offload • その処理力は，400Gbpsへ？ imp_DC2013_OE 20 • 機器は<50万円程度 • 10Gbpsどころか，誰 もが100Gbps～ 200Gbpsを扱える時代 • 単一サーバで，高パ フォーマンス・アプ リケーションを実装 可能
- 20. 性能向上の裏に PCサーバの高性能化と短寿命化 •仮想化を担うPCの「仮想化」としての用途寿命 が低下 • PCの入れ替え作業が極めて低コスト • PC性能向上により仮想PCの収容数や仮想PCの性能が アップ •なぜ？ • PCの性能向上に伴い仮想化収容率が向上 • SandyBridge世代 = 30仮想PC / 物理筐体 • 価格そのままに，性能向上 • Neharem/Westmere(Intel 5520) SandyBridge (Intel C602) • 12M cache 20M cache • QPI 6.4GT/s 8.0GT/s • PCI-E2.0PCI-E3.0 • 96GB-DDR3_1600192GB-DDR3_1600 高額なサーバの長期使用はコストの割に合わない ボリュームゾーンのサーバを用途別に短期更新 メーカー製製品がどうかの検討が必要 １軍(Sandy Bridige) • 仮想化主系サーバ ２軍 (Westmere/Neharem) • 仮想化副系サーバ • ストレージシステム ３軍(Neharem) •予備・検証実験用サーバな ど imp_DC2013_OE 21 用途寿命が短い
- 21. 物理構成からみる「省力化」PCクラスター メンテナンスコストを引き上げるケースは不要・メーカＰＣは不要 imp_DC2013_OE 22 (C) CfCA, NAOJ (C) CfCA, NAOJ
- 22. ＰＣのポイント •性能向上の余地がまだまだある •Haswell アーキテクチャへの進化 • 来年には約2倍以上の性能向上が見込まれている(HPCの例) • DDR4メモリー • 高クロックメモリー •PCI-Eの高速化 • M/Bやチップセットは，PCI-E3.0に対応 • 2013年中盤からPCI-E3.0 x8 仕様のNICやRAIDカードなど多数登場 •メンテナンスを考慮したシステム構成の究極例 imp_DC2013_OE 27
- 24. データセンターのバックエンドネットワークを支える 「インフィニバンド」と「イーサー」：両社進化の背景 目指す方向性は「高性能」だが，その進化の背景は異なる インフィニバンド 「単機能＆高バンド＆低遅延」 • インターネットサービス上で提供す るアプリケーションの性能を達成す るべく進化 • シンプルさを生かして，高性能を素 早く実装，市場に展開 イーサーネット 「高機能＋進化する高バンド＆低遅延」 • インターネットの速度感で，異速度 差の混在や，高度なフォワーディン グ性能，セキュリティ機能，等を達 成するべく進化 • マスボリュームを生かして，高機能 な実装を安価に提供 サーバの集約・サーバの高性能化等 を背景にイーサーが激しく追っかける imp_DC2013_OE 29
- 26. インフィニバンドのポイント • 物理層は，IEEE802.3と同様（10GbEやFiber Channel） • 帯域は，1レーン 全二重10Gbps(QDR) / 14Gbps(FDR)等 • レーンはアグリゲーションが可能(x4やx12) • ノード間の場合は，40Gbps(QDR) / 56Gbps(FDR) の帯域 • 1μ秒の低遅延 • RDMA(Remote Direct Memory Access)による低遅延・低負荷処理 • CPUはアダプタにデータを渡せば完了＝CPUの負荷軽減 帯域・低遅延などアプリケーションの要求を達成するシンプルなシステム アダプタカード スイッチ ケーブル imp_DC2013_OE 31
- 27. インフィニバンドの活用事例 •アプリケーション性能を達成するための構成要素 • Oracle Exalogic : Weblogic server + Infiniband • HPCシステム全般 • TOP500の45%はインフィニバンドをインターコネクトして活用 イーサーネットとは全く違う立ち位置 •高帯域・低遅延を生かして，アプリケーション性能を高めてい る． •コモディティ化してなくてもＨＰＣやシステム向け出荷数は多 い •機能がイーサーに比べシンプルなため，広帯域・低遅延を安価 に提供 • イーサネットより安い． imp_DC2013_OE 32
- 28. イーサネット（ＮＩＣ）：進化は止まらない •まだ1GbEを束ねるんですか？ • 性能は出ませんし，ケーブルも煩雑です． •40ギガ・10ギガのネットワークカードの価格・性能 • ２００９年：10ギガｘ１ ２０万円 • ２０１０年：10ギガｘ２ ＜１０万円 • ただしワイヤーレートではない． • ２０１１年：10ギガｘ２ ＜７万円 • 各種ＣＰＵをオフロードする実装・ワイヤーレート • ２０１２年：10ギガ，40ギガ ＜７万円 • 40GbE or 4x 40GbE on PCI-E2.0 x8 (=オーバーサブスクライブ) • サーバ内蔵 • ２０１３年：PCI-E 3.0 & ４０ギガフルレート ＜8万円？ イーサーは高機能にも関わらず急速に高性能化と低価格化が進んでい る． • サーバもCPUのメモリーコントローラ内蔵や，PCI-E2.0などにより，10GbEを十分処理できる 性能を有する imp_DC2013_OE 33 10Gbase-R x 2 (PCI-E2.0 x8)
- 29. イーサネット（ＮＩＣ）：進化は止まらない • 強力なオフロードや仮想化支援実装が常識 例）Chelsio T4 ASIC アーキテクチャ • オフロード実装により，TCP/IP処理，メモリバンド，CPU負担を軽減 • RDMA やTCP/IPスタックのカットスルーによる低遅延化 • Directed I/O (VT-d)対応：ハードウェアによるI/O仮想化支援 • メーカーによって，設計思想が異なる． • 低遅延指向，バンド幅指向などなど imp_DC2013_OE 35
- 31. イーサネット（スイッチングハブ）：進化は止ま らない •GoogleからのRFP 1ポート= 100US$ •高性能なスイッチングハブ用汎用チップが支 える • Fulcrum Microsystems(現Intel) • Broadcom • Dune Networks(現Broadcom) •安価で高性能化・廉価化が進む． • 10G多ポートでも100万円以下 • 30Tbps級のバックプレーンや，10GbE x 1152の 高密度収容も実現 •金融からの低遅延，高機能化への要望 • FPGA搭載NICや，SWの登場 imp_DC2013_OE 37 40GbE 多ポートスイッチ
- 32. ネットワークのまとめ • ネットワークが低遅延・広帯域であることは，アプリケーションの性 能を高める上で必須です． • 逆説的ですが，インフィニの進化が証明 • そして，それが低価格でできるようになったのが「今」 • 安価で高性能な10Gbpsクラスのカードを利活用して，システムを作り こむことで，100Gbps級の処理も可能 • イーサネットカードは，目指すアプリケーションの仕様にあわせて，メー カー・ＯＳパラメータ（割り込み・ＲＳＳ・ＣＰＵ基本パラメータ等）調 整する必要 • 低遅延最優先（＝ショートパケットは弱い） • ショートパケットに強いが低遅延はむつかしい • 野川・大沢・連雀などがその性能を実証 • イーサーネットの場合，ネットワーク上の異速度の混在は，ＣＰＵ／ ＮＩＣ／スイッチに負担をかける． • フル10GbEなど，1GbEを介在させない． • その最大性能は，バッファリングやフロー制御によって削られていく． imp_DC2013_OE 38
- 33. サーバＰＣ編＋ネットワーク編のまとめ だれもが高性能なデータセンターを構築できる時代 • ＣＰＵもメモリーもコストを意識して調達 • メーカー製を選ばないのも選択肢 最新世代のボリュームゾーンを活用 • 割り込み・CPUの省電力などのパラメータ調整，オフロード実装により性能が向上 アプリに応じた徹底チューニング • 安価で高性能，これからは，PCI-E3.0対応を追っかける． NIC・アダプタは最新世代を利用 • NIC速度のハイローミックスをしない • 10GbEならば，10GbEで構成するとベストパフォーマンス • 速度差はネットワークに任せるのでなく，アプリケーションで工夫する． • LAG(bonding)で帯域を稼がない 10GbE/40GbEの徹底活用 imp_DC2013_OE 39
- 37. 「帯域」ギャップ：我々の意識はどちら？ アプリケーションエンジニア視点 • サーバエンジニアを含む • データセンターラック内を大容量トラフィックが駆け巡っている • 仮想化・ストレージ・データセンターネットワーク（仮想化スイッチ・ ＶＸＬＡＮ等） • 帯域はあってもあっても足りない インターネットエンジニアの視点 • インターネットエンジニアがエンタープライズネットワークのエン ジニアを担う • インターネットアクセス速度の感覚でエンタープライズネットワー クを意識して設計 • 10Gbpsアップリンク，1Gbpsアクセスで十分なイメージ imp_DC2013_OE 43
- 38. アプリエンジニアがイーサを活用する •アプリの視点からは，目標達成に手段は選ばない． • 貪欲に技術を習得・最新技術をキャッチアップ：背負うものが大きい ↓ •クラウド・仮想化・高可用性システム設計・分散ストレージ・ ＶＤＩ等・・サーバ集約化により，帯域が足りない！が・・ • サーバはマイクロアーキテクチャとPCI-Eバスの高速化 • 10/40GbE PCI NICが安価に登場する背景 イーサーにおいても，その帯域不足を埋める役者がそろう 「アプリエンジニア」が「インターネットエンジニア」が愛する 「イーサ」を最大限活用している． •インターネットエンジニアは，だいじょうぶ？ • 知識が古くなって，アプリに迷惑かけてないですか？ • アプリエンジニアとインターネットエンジニアが分業する時代は終焉だ とおもいませんか？ imp_DC2013_OE 44
- 39. これからの時代 • アプリケーションの求めに応じたシステムパフォーマンスは素直 にどんどん向上（させないといけない） • アプリ性能を劇的に進化するのは，以下の役者を生かしきった時 • ネットワークの低遅延・広帯域化 • 40GbE/100GbEなど高性能フルレートＮＩＣ • ＳＳＤなどの超高速デバイス • ネットワークの低遅延・広帯域に後れを取らない性能 • デバイスを生かしきれる高性能サーバPC • SandyBridge/ Haswell • ネットワークスイッチングハブ向け汎用チップ化と帯域単価の下落 すべては整いつつある．我々は備えなければならない． imp_DC2013_OE 45
- 40. ありがとうございました imp_DC2013_OE 46 おしらせ ＊国立天文台三鷹キャンパスでは，毎月2回公開天体望遠鏡を使った 観望会を開催中！ ＊2013年10月18-19日に国立天文台三鷹キャンパスを特別公開しま す！ 詳しくは国立天文台ホームページをご覧ください． 口径30m次世代超大型望遠鏡(TMT) 始動 http://tmt.mtk.nao.ac.jp/ 1000円から参加できる TMT 第二期寄付金募集中! TMT完成予想図(c)2010ThirtyMeterTelescope