Performance and Scalability of Web Service

KOF2009 ウェブサービスのパフォーマンスとスケーラビリティはてな田中慎司 stanaka @ hatena.ne.jp http://d.hatena.ne.jp/stanaka/ http://twitter.com/stanaka/

アジェンダ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

サービス規模 ,[object Object],[object Object]

ウェブサービスのパフォーマンス ,[object Object]

パフォーマンスモデル ,[object Object],[object Object],[object Object],[object Object],[object Object],レスポンス HTML ページページ要素取得レンダリング完了時間主にバックエンド主にフロントエンド

フロントエンドのパフォーマンス ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

バックエンドのパフォーマンス ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

レスポンス時間の計測 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

レスポンス時間の分布グラフ

良好なレスポンスの例

キャッシュによる影響

システムの基本構造 proxy proxy LVS LVS mod_perl mod_perl mod_perl mod_perl LVS MySQL MySQL LVS LVS LVS リバースプロキシアプリケーションサーバデータベースサーバロードバランサ

はてなブックマークの場合アプリ ( ユーザ ) DB content アプリ (bot) DB entry DB html DB keyword memcached hadoop searcher squid worker 関連文書カテゴライズ計数十台ロードバランサリバースプロキシアプリ (image)

[object Object],はてなのサーバ台数

Web サービスの 3 つの指標 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

1. スケーラビリティ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

レイヤごとのスケーラビリティ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

負荷の把握 ,[object Object],[object Object],[object Object],[object Object],[object Object]

スケーラビリティとソフトウェア開発 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

2. 高可用性 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

安定性 ,[object Object],[object Object],[object Object]

冗長性確保の実際 ,[object Object],[object Object],[object Object],[object Object],[object Object]

安定させるために ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

環境の不安定要因 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],負荷増大能力低下

ロバストなシステムに ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

冗長性 ,[object Object],[object Object],[object Object],マスター DB マスター DB アプリケーションサーバ X 相互にレプリケーション

無停止メンテナンス ,[object Object],[object Object],[object Object],[object Object],[object Object],マスター DB マスター DB アプリケーションサーバマスター DB マスター DB アプリケーションサーバメンテナンス

3. コストパフォーマンス ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

低コストを実現する技術 #1 ,[object Object],[object Object],[object Object],出典 : http://www.intel.co.jp/jp/intel/museum/processor/index.htm

低コストを実現する技術 #1 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

メモリ・ HDD 価格の推移出典 : http://www2s.biglobe.ne.jp/~sakharov/research/pfo_main.html メモリ HDD

低コストを実現する技術 #2 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

システムを安価に構築 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ハードウェアへの要求仕様 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

仮想化を前提としたハードウェア ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

独自ハードウェア ,[object Object],[object Object],[object Object]

独自ハードウェア ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

参考 : Google のサーバ出典 : http://news.cnet.com/8301-1001_3-10209580-92.html

独自ハードウェア新旧

ハードウェアの性能を引出す ,[object Object],[object Object],[object Object],[object Object],[object Object]

データ量にメモリ量を合わせる 32G 16G

単体性能の向上例 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

オンメモリ vs SSD 32G 16G + SSD IOwait はほとんど発生せず 32GB … ほぼオンメモリ SSD … 大量の ioread SQL 処理性能はほぼ同一

SSD のリスク ,[object Object],[object Object],[object Object],[object Object],[object Object]

その他の要素技術 ,[object Object],[object Object],[object Object],[object Object],[object Object]

ネットワークの冗長化

ルータ用ハードウェア ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

仮想化技術への期待 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

仮想化技術のメリット ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],*1: リソース監視ツール http://mmonit.com/monit/

仮想化技術のメリット ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],*1: リソース監視ツール http://mmonit.com/monit/

仮想化サーバの構築ポリシー ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

仮想化サーバ ,[object Object],ハードウェアウェブサーバメモリ量 : 4GB Dom0: 0.5GB ウェブサーバ 3.5GB ハードウェアウェブサーバメモリ量 : 8GB Dom0: 0.5GB ウェブサーバ 5.5GB キャッシュサーバ 2GB キャッシュサーバ主に CPU-bound 主にメモリを消費 CPU は消費しない

仮想化サーバ ,[object Object],ハードウェア DB サーバメモリ量 : 4GB Dom0: 0.5GB DB サーバ 3.5GB ハードウェア DB サーバメモリ量 : 8GB Dom0: 0.5GB DB サーバ 3.5GB ウェブサーバ 4GB ウェブサーバ主に IO-bound 主に CPU-bound

サーバ管理ツールあるラックに含まれるサーバの構成を負荷とともに一覧

サーバ管理ツール ,[object Object],サーバの親子関係と、子サーバの負荷を一覧

仮想化によって得られるもの ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],容易なサーバ増設 -> スケーラビリティハードコスト・運用コスト低下 -> コストパフォーマンス・高可用性

カスタムエンジン ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

計算クラスタ ,[object Object],出典 : MapReduce: Simplified Data Processing on Large Clusters, Jeffrey Dean and Sanjay Ghemawat

Hadoop ,[object Object],[object Object],[object Object],[object Object],[object Object]

グローバル配信 ,[object Object],[object Object],太平洋越え -> 30 秒程度 CDN -> 5 秒程度

グローバル配信 ,[object Object],[object Object]

Amazon Cloudfront ,[object Object],[object Object],[object Object]

まとめ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[object Object],[object Object]

Performance and Scalability of Web Service

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (7)

Similaire à Performance and Scalability of Web Service

Similaire à Performance and Scalability of Web Service (20)

Plus de Shinji Tanaka

Plus de Shinji Tanaka (7)

Dernier

Dernier (9)

Performance and Scalability of Web Service