AWS移行に向けたクックパッドの取り組み+α

AWS移行に向けたクックパッドの取り組み+α クックパッド株式会社菅原元気

自己紹介クックパッドでのお仕事インフラ担当（最近は主にAWSまわり）ミッションは「スピード・スケール・可用性・バックアップ・セキュリティ」を押さえたインフラの構築・運用オープンソース活動 AWSのツールの開発 elasticfox-ec2tag、IAM Fox、R53 Fox Rubyライブラリの開発 zipruby、libarchive、rua…etc

アジェンダ AWSのサーバ・ネットワーク構成分散DNSの話

サーバ・ネットワーク構成

サーバ・ネットワーク構成現在のネットワークネットワークセキュリティDNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成シンプルな三層構造それぞれの階層でネットワークが分離されているネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 EC2のネットワークネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成全てのサーバが同じセグメント上に存在するネットワークを分離する代わりに、セキュリティグループを利用するネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成インスタンスには二つのセキュリティグループを設定する Basic 各ロールのセキュリティグループネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成セキュリティグループ構成ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Basicでは基本的なポートについて、相互に通信することを許可する ping（icmp） http 特定のセキュリティグループからのアクセスを許可する生存監視ツール（Nagiosなど）性能監視ツール（Muninなど）ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成各ロールのセキュリティグループロール同士の通信を許可 Basicとロールので通信を許可ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 AppからDBへのアクセスを許可ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 BasicからDNSへの問い合わせを許可ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成基本的に許可するアクセス元にIPアドレスは指定しない Elastic Load Balancingからアクセスされるロールは、例外的に10.0.0.0/8のアクセスを許可ソースIPを指定できないセキュリティグループを指定できないすべてのサーバでiptablesを起動人的なミスを防ぐためネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 EC2では内部IPアドレスを固定できない停止、再開などで内部IPアドレスが変更される内部DNSを使って、IPアドレスを意識しない状態にするネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 DNSはActive-Active構成の2台それぞれにElastic IPをアサイン各サーバはresolv.confで2台を参照ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 DNSはNameタグの情報を取得して、ドメインの情報を構成例) Name:dev -> dev.ap-northeast-1.compute.internal ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 resolv.confは定期的にcronで更新内部IPアドレスが変わったらresolv.confを更新 DNSの片方が停止したらresolv.confから除外ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 cronはDNSのPublic DNS Nameを問い合わせる（Public DNS NameはElastic IPのアサインで固定されている）ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Public DNS NameにひもづくIPアドレスとしてDNSの内部IPを取得ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成取得した内部IPをresolv.confに書き込む問い合わせが返らなかった場合は、resolv.confから除外するネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 CentOS5.5をクリーンインストールルートデバイスはEBS 現在は32bitと64bitが混在しているが、64bitに統一する予定ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成ベースとなるAMIから各ロールのAMIを作成それぞれのAMIはバージョンをつてけ管理しているシステム管理ツール（Chef等）の導入も進めているネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成システムネットワークの生存監視 Nagios + nrpe 性能監視 Munin ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Nagiosはサーバの生存状態を監視 Muninはサーバの性能情報（CPU使用率やロードアベレージ）を記録ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成起動されたインスタンスは自動的にNagios・Muninの監視対象となる各インスタンスにはタグをつけて、どのような監視対象であるかを識別できるようにするネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成可用性向上のための方策 Elastic IPを使用した相互監視 Nagiosを使ったAMIからの復旧 Heartbeatを使ったフェイルオーバーネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Elastic IPを使用した相互監視 NagiosやLDAPの冗長化に使用ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成それぞれElastic IPのPublic DNS Nameを監視ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成返ってきた内部IPアドレスが自分のアドレスの場合、ヘルスチェックは行わない自分のアドレスと異なる場合、ヘルスチェックを行う ->常にバックアップがマスタのヘルスチェックを行うネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成マスタのヘルスチェックに失敗した場合、バックアップは自分にElastic IPをアサインする Elastic IPがマスタからバックアップに移って、フェイルオーバーされるネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Nagiosを使ったAMIからの復旧 Nagiosがへルスチェックに失敗したタイミングで、AMIからの復旧をする Munin等などで使用ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Heartbeatを使ったフェイルオーバー基本的にはcronを使った方法と同じ EIPを仮想IPの代わりに使うネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Heartbeatで相互に監視ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成フェイルオーバーしたら、リソースエージェントとEIPをアサインネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Elastic IPを使用した相互監視 Heartbeatを使った方法に置き換え中 Nagiosを使ったAMIからの復旧 5〜10分程度のダウンタイムが許容されるサーバに適用 LDAPの故障するとnrpeがおかしくなるので、今は使っていない状態… ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Heartbeatを使ったフェイルオーバーダウンタイムは一番短い LVS/keepalivedに比べると劣る… マルチキャストを使えないのが痛いネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 EC2上にはSlaveのみデータはEBS上に置いているデータは日次でSnapshotを作成ネットワークセキュリティ DNS AMI 監視冗長化 MySQL

サーバ・ネットワーク構成 Snapshotから新しいスレーブを作るネットワークセキュリティ DNS AMI 監視冗長化 MySQL

分散DNSの話内部DNSは最重要サーバ resolv.confで一応、複数のDNSを参照

分散DNSの話内容がキャッシュされるフェイルオーバー時にApache等のリロードが必要 timeoutが1s以下にできない先頭のネームサーバが死ぬとクエリがいちいち引っかかる cronで監視ダウンタイムが分単位管理がめんどくさい

分散DNSの話なので分散DNSというものを作りました

分散DNSの話自分のホスト名を指定して各インスタンスでノードを起動

分散DNSの話ホスト名とIPアドレスの情報はGossipプロトコルで各ノードに拡散される

分散DNSの話アプリケーションは自インスタンスのノードに問い合わせ

分散DNSの話死んだノードはクラスタから外れる各ノードの情報は自動的に更新される

ご静聴ありがとうございました

AWS移行に向けたクックパッドの取り組み+α

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (16)

Similaire à AWS移行に向けたクックパッドの取り組み+α

Similaire à AWS移行に向けたクックパッドの取り組み+α (20)

Plus de Sugawara Genki

Plus de Sugawara Genki (20)

Dernier

Dernier (12)

AWS移行に向けたクックパッドの取り組み+α