OpenStack Ops Mid-Cycle Meetup

Copyright © NTT Communications Corporation. All rights reserved. 0
OpenStack
Ops Mid-Cycle Meetup 参加報告
NTTコミュニケーションズ
技術開発部
2015年4月22日

Copyright © NTT Communications Corporation. All rights reserved.
自己紹介
1
氏名：
• 小倉真人 (おぐらまひと)
所属：
• NTTコミュニケーションズ技術開発部
経歴：
• 2009-2010 : NTTコムウェア入社、Eucalyptusの検証
• 2010-2012 : 仮想化基盤(KVM)の監視、デプロイ効率化の検証
• 2012-2013 : Cassandra, HBase, MongoDB検証
• 2013-2014 : Hadoop基盤の自動構築検証
• 2014-現在 : 10月に人事異動で現職に
OpenStackの調査・開発・人材育成に従事

イベント概要
2
 イベント名：OpenStack Ops Mid-Cycle Meetup
 日時：2015年3月9日、10日
 場所：米国フィラデルフィア（Comcast社がスポンサー）
 主催：OpenStack Foundation
 参加者：2日で約150名
• 参加者多数のためキャンセル待ち＆会場変更が発生
• 参加者の大多数がアメリカ、カナダから参加
• ヨーロッパから3名、アジアからはNTTグループの4名
 会議目的：OpenStackのOpsに関するサミットまでの中間会合
• OpenStackの運用に関する課題の議論やノウハウの共有
• 運用の観点からOpenStackの開発者へのフィードバック
 参加目的：OpenStackを活用している企業の運用部門が集まって、各社の運
用方法の情報共有やOpenStack開発者に提言していく会議体であり、今後の
クラウド運用のノウハウや情報を収集するため
 備考：議事録はetherpad（http://opsgui.de/PHL-ops）で公開中

OpenStack Foundationのブログより
3
 OpenStack Foundationが出しているブログ*1にもNTTも来ている
ことを記事に書かれておりました。
*1：http://superuser.openstack.org/articles/takeaways-from-openstack-s-
mid-cycle-ops-meetup-a-little-more-conversation-a-little-more-action

OpenStack Operations Meetups とは
4
 OpenStack Operations Meetups （通称、Ops Meetup）
 開催時期
• 6ヶ月毎に開かれるDesign summitの一部として開かれる
• さらに、Summitの間にMid-cycleとして開かれる。
• つまり3ヶ月毎。今回はParis SummitとVancouver Summitの中間会合。
 位置づけ
• OpenStackの運用の問題を収集する
• プラクティスや構成の共有の場を作る
• 運用者の積極的な参画を促す
 形式
• Moderatorは進行役となり、
参加者が抱えている問題を聞きだし、
解決のための議論を促す。
• Etherpadをスクリーンに映し出し、
参加者も発言をリアルタイムに書く。
• 全員参加のGeneral Sessionsと
特定のトピックに絞ったWorking groupsの二種類

今回のOps Meetupのプログラム一覧
5
 以下のようなトピックでセッションが開催されました。
• General 11セッション、Working Groups 7セッション
 1日目
 General Sessions
• OVS - issues/fixes/best practices
• Security at the host level
• Tags Discussion
• What hardware are you running?
• Arch Show&Tell
 Working Groups (並列に開催)
• Application Ecosystem
• Tools/Monitoring
• Large Deployments
 2日目
 General Sessions
• Rabbit HA and queue issues
• Nova Feedback
• Network performance optimization
• Capacity Management
• Arch Show&Tell
• Feedback
 Working Groups (並列に開催)
• Testing/Interop
• Packaging
• Telco
• Burning Issues

全体所感
6
 OpsMeetup/Opsコミュニティについて
• Opsコミュニテイが拡大し、影響力が大きくなりつつある
 Mid-cycle Meetupの参加者は前回の約2倍（80人@San Antonio)
 MeetupにおけるActionを明確化する動きも見られ、幾つかアクションも実行
に移されており、開発へのよいフィードバックも見られる
 MeetupにはDeveloper/PTLも参加しており、直接話すことができる機会
• 運用者の集まりのため、運用で出た課題意識について議論しようとする意
識は強いが、運用から新機能を提案するためのWGなどは盛り上がりに欠
ける印象あり
 OpenStackで課題にあがりやすいRabbitMQ、円滑な運用を実現するための運
用ツール、CI/CD・DevOpsの議論は盛り上がっていた。
 Opsコミュニティへの貢献について
• OpenStackのOpsコミュニティの中でプレゼンスを示すためには、継続的
な参加、議論での積極的な発言、Meetupでのボランティア(モデレータな
ど)としての活動が必要
 実運用の経験かコンポーネントの内部構造を把握しておかなければ議論に参加
して発言するのは困難なため、これらができるエンジニアの育成が必要

全体所感
7
 参加者について
• 半数以上が運用担当で、残りが開発者、TC、PTL、Foundationのメンバ
という構成だと思われる。
 各社の運用担当の多くはOpenStackを自分たちで導入しており、標準的なコン
ポーネントのしくみや課題を熟知している人が多数いた
 各議題について
• 各セッション内で前もって提示された議題について活発に質問や意見、ア
ンケート（挙手）が繰り返され情報共有がされていた。
• 議論はモデレータがコントロールをしていたが、基本的には声の大きい一
部の参加者の間で発言・議論を繰り返し行われていた。
 今後について
• 各セッションで”Action”の記載があり、Opsの課題解決の取り組みは継続
していく。しかし、いつまでに誰が担当するかなどが決まっておらず、す
べての課題が今後解決されるかは不明。
• Ops Meetupは今後もSummitや中間会合、地域開催など活動を続けてい
くので、会場やスポンサー協力を募集していく。

8
個別議題

小倉担当分
9
 個別議題
• Rabbit HA and queue issues
• Capacity Management and Monitoring
• Tool & Monitoring
• What hardware are you running ?
• Packaging
• Application ecosystem
• Telco

Rabbit HA and queue issues*1
10
 Moderator：Mike Dorman（GoDaddy）
 RabbitMQの構成はクラスタ構成が半数
• 利用しているバージョンは2.7.1～3.4.4まで様々
• クラスタの規模は 100 message/secがさばける規模が多い
• DiskかRAMかという話ではDiskを過半数、残りをRAMという意見がでた
• 設定管理はPuppet, Ansible, Chefの順で人気
• RabbitMQは他のサービスやミドルとは共存させない
• 監視項目
 Queue size, Cluster status, FD, Memory usage, Disk space, etc…
 RabbitMQ利用における課題
• クライアントのコネクションが切れても通知されない/再接続しない
 上記oslo.messagingの問題回避策としてkombuが意外と人気
 Meetup後にoslo.messagingにHeartbeat機能がマージされた*2
• RabbitMQが動いていないとサービスが起動時に死ぬ
• デバッグや監視が難しい
• fanout exchangesの扱いが難しい
*1:https://etherpad.openstack.org/PHL-ops-rabbit-queue
*2:https://bugs.launchpad.net/nova/+bug/856764
*3:https://review.openstack.org/#/c/146047

Capacity Management and Monitoring*1
11
 Moderator：Ben Burdick(Rackspace)
 CPU Ratioの値
• CPUタイム、ワークロード、テナントの状態をみて値を決めている
• 1:1~16:1までいろいろ
 複数Ratioを運用する声もあったがMigrationで問題になるのではという話に
 Memory Overcommit（ ram_allocation_ratio の値）
• 使ってない（0.9~1.0）が多数
 reserved_host_memory_mbが使いにくいとの意見も
• KSM（Kernel Samepage Merge）も併用
 5%~20%のワークロードが抑えられる
 古いカーネルやWindowsインスタンスだと問題が起きることがある
• デフォルトを1.5から1.0の変更提案を出す（Action）
 利用してるFlavorのサイズ
• 大体はデフォルトのFlavorで大丈夫だが、一部のユーザには不向き
 Cellはまだつかいものにならない
*1：https://etherpad.openstack.org/PHL-ops-capacity-mgmt

Tool & Monitoring*1
12
 Moderator：Joe Topjian（Cybera）
 主に下記のツールが主に議論になった
• StackTach http://stacktach.com/index.html
 リアルタイムイベント処理、イベント通知（RabbitMQを利用）
• Monasca https://wiki.openstack.org/wiki/Monasca
 OpenstackのProjectの一つ。Monitoring as a Serviceとして
• Rally https://wiki.openstack.org/wiki/Rally
 Openstackのベンチマーク、シナリオ、API等の負荷、パフォーマン
ス測定のためのツール
• Logstash+Elasticsearch:ログ収集およびログ検索
 テンプレートの共有があった*1
• ほかにsensuも上がったが、使っているところはなかった
 その他にはどういったサービス、メトリクスを監視するべきかを議論
 今後OpenStackの監視に関するwikiページ*2のコンテンツを豊富にし
ようという意見があった
*1:https://etherpad.openstack.org/PHL-ops-tools-wg
*2:https://github.com/stackforge/os-ansible-deployment/tree/icehouse/rpc_deployment/roles/logstash/templates
*3: https://wiki.openstack.org/wiki/Operations/Monitoring

What hardware are you running ?*1
13
 Moderator：Randy Perryman（DELL）
 サーバの選定方法
• NWやStorage等のバックエンドの利用に応じて変える
• 既存資産との兼ね合い
• Open Computeの利用ユーザは少数
• SSDの利用者は多数いるが扱いには注意が必要との意見が多数
 ハードウェアの課題
• IPMIのリモート管理 / 値段 / ドライバ / Firmware Upgrade
 サーバを統一化してるか
• してる：タイプだけ統一 / 統一を進めているが状況によってはやめる
• してない：ベンダロックイン回避のためにわざと揃えていない
 ハードウェアの初期設定ツール
• Cobbler + Puppetが多数。それ以外はIronic/MAAS等を利用
• BIOSの管理は各社スクリプトを使ったりして工夫をしている
 Ephemeral Strorageに何を使っているか
• ローカルストレージとCephが多い、他はNFS等
*1：https://etherpad.openstack.org/PHL-ops-hardware

Packaging*1
14
 Moderator：Matt Fischer(Time Warner Cable)
 構築は自前で実施。ベンダはあまり使わない。
• 自前でやる理由（自分でやった方が便利、ベンダ役立たず、etc…）
• ベンダを使う理由（問題の責任を取らせる、自分がベンダだから）
• パッケージツール：ANVIL、Giftwrap、yaprt、Koji、etc…
 CI/CD：デプロイの頻度は各社によって異なる
 CD派：数日ごと～数週間、設定変更、パッチ適用のタイミング
 安定派：確実にいくつかのアップグレードが必要になるまでやらない
 Venv/Package/Containerの利点、欠点
• Venv：複数バージョンを簡単に試せるが、本番環境では使えない
• Package：導入・設定は簡単だが依存関係等で複数バージョン扱えない
• Container：使えるとの発言はあったが使ってる人は少ない
 Stableブランチの利用について
• 構築する場合はソースから（Stable+cherry pick）が主流
• 課題：backportのcommitまでに時間がかかる、Stableの期間が短い
*1:https://etherpad.openstack.org/p/PHL-ops-packaging

Application ecosystem*1
15
 Moderator：Tom Fifield（Openstack Foundation）
 オペレータの立場からApplication ecosystemに関してコミュニティに対して
活動ができないかを探るセッション
• 人が少なく、議論が盛り上がらなかったが、
モデレーターであるTomがまとめ下記のアクションアイテムが出た
 課題
• OpenStackの上にアプリケーションを構築する上で、
そのアプリケーションが成り立つ/動作するのかを確かめる術がない
 課題を踏まえたアクションアイテム
• Capabilityを確認するAPIがないかをDevに問合せする
• 実例を作って確かめてみる
• Amazonからのアプリの移行を実践
• WorkingGroupとしてオンラインでも活動する
 MLを作成し、今後１ヶ月に１回ほどmeeting
*1：https://etherpad.openstack.org/PHL-ops-app-eco-wg

Teleco*1
16
 Moderator：Steve Gordon (Redhat)
 Operationの立場から
通信キャリアが必要なユースケース検討、開発フローの議論など
 ただ、Operatorの集まり、かつ、通信キャリアも多くなかったためか、開発
フローやユースケース議論が活発化しなかった。
• またOpennfvのメンバーが参加しており、OpenStackとopennfvとの関
わりで議論が多かった。
 OPNFVからの提案について
 OPNFVとOpenStackとの共通のフレームワーク
*1:https://etherpad.openstack.org/p/PHL-ops-telco

OpenStack Ops Mid-Cycle Meetup

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

OpenStack Ops Mid-Cycle Meetup