SlideShare une entreprise Scribd logo
1  sur  21
Télécharger pour lire hors ligne
今回のお題




   ■Apache2.4 新機能とかについて
        ■Varnishについて
■Webサーバログ運用について←これやります
Webサーバログ運用について




   ログ大事ですね!

 まずログが出ていないと・・・・
恐いですね!!><

 でもなんで                       こんなに怒るんでしょうか。
         kazeburoさんとfujiwaraさん




   それは、通常運用時、障害対応時、
   あらゆる所でログを見て判断します。
  ログは何が起きたのかを知っています。

ログが無いと障害時の原因究明・対応も出来ないし、
 アクセスログを元に今サービスがどんな状況か
     正確に把握出来ないですね!
なので




ログは大事ですね!


   (完)
さすがに



これだけだとアレなので、もう少し。

で、そんなに大事なログなんですけど、
  今までうちはこんな感じでした。
さすがに



これだけだとアレなので、もう少し。

で、そんなに大事なログなんですけど、
  今までうちはこんな感じでした。
旧構成(と言っても今もだけど)

                          Webサーバ




日次処理によるログ退避


                              集約サーバ
                                                       DBサーバ


   各Webサーバの生Apacheログをパー
    ス、追加情報を付与して整形する                                 各log_data{yyyymm}テーブルを元に
                                      日次、月次での各テー   解析用のテーブルとか分割したテーブ
                                                                 ル作る
                                      ブル作成、及び集計処
                                         理を実行
                                                   必要な元ネタテーブルが作成完了した
        DBにINSERTする
                                                   ら、各集計用スクリプトを実行し、それぞ
                                                      れのテーブルを更新して行く
この方式の欠点

・ログが大量だと全部DBに入れるのに糞重い

・ログが大量だと日次処理、月次処理が糞重い

・基本処理が日次なので、昨日の状況を見たい時でもDBに格
 納されてからバッチ実行を待って、それからデータをCSVで
 落としてExcelでグラフ・・・・ヽ(`Д´)ノムキー

・じゃあ、なんで他の方式にしないの?
それはね



 大人の事情が色々あるんやで。



「今までの実績」(笑)とか調整とかね。


   ※と言いつつも個人的な技術力不足もあります。
そこに!
Twitterとかでも良く見た

なんかログ収集が手軽らしい。ストリーミングで行けるらしい。

lived○○rさんとかでも使っているらしい

今のログの方式とか変えずに非破壊的に行けるらしい

収集時点でログが構造化されるとかオシャレっぽい
で、色々と試してみた結果

1ヶ月くらいで「~~触ってみた」blogを
2012-03-23 #fluentd fluentd(td-agent)構築時に気をつけるポイントについて
2012-03-22 #fluentd fluentdでcsvファイルのログをin_tailで読むconfig
2012-03-16 #fluentd fluentd+fluent-plugin-datacounterでログの可視化が便利
2012-03-13 #fluentd include httpを使ったけど上手くいかなかったのは、僕のせ
2012-03-12 #fluentd include httpを使ったけど、上手くいかなかった。
2012-02-29 #fluentd やっつけのfluentd監視用Nagiosプラグインを書いた
2012-02-23 #fluentd fluent-plugin-datacounterがリリースされたので試してみた
2012-02-06 fluentdの記事まとめメモ

こんだけ書いていた。
で、fluentdを導入した結果今の構成
ざっくり内部概要
各サーバ用のConfig配布方法
Configについて2
なぜconfigをPSGIで動的生成しているかというと、fluentdでaggregate側に投げる
   時に各ホストが
ミドルウェア名.ミドルウェア内のタグ(付けないかも).サービス名.IPアドレス
(ex tag: apache.access.web_A.192.168.0.1
というtagを付与したい為。
最終的にdatacounter等で集計する際にtagでグループ化する等を想定している。
※現段階で使うかどうかは別として。

ミドルウェア関連はホスト毎に共通になる想定なのでユニークじゃなくても良いが、IP
  等はホスト毎に切り替えが発生し、その為にconfig直書きで作業が発生するのは
  馬鹿らしい事とconfigを一元化して管理したい為。

なので、PSGIではREMOTE_ADDRESSを元に、とりあえず正規表現で各ホストを
 判別し、それをconfigに埋め込んで、リクエストを投げた各ホストに合ったconfigを
 返す。
で、fluentd+ fluent-plugin-datacounter+Cacti
          を使うと、ほぼリアルタイムで

Webサーバのレスポンスタイムを可視化したり
他に

Webサーバのレスポンスステータスの状況とか
更にアプリログで

なんのかは説明できないけど、
サービス的に意味のある統計情報がリアルタイムで見れる訳
 ですよ!ログ読むことによって!今まで日次だったのに!
担当者がサボるともっと時間掛かっていたけど!
まとめ

                      ログは大事。

サーバの状況も分かれば対応も早い。

リソース管理等を考えるとグラフ等で可視化しておくともっと良い。

その手段としてfluentdはとても(・∀・)イイ!!

fluent-plugin-datacounterについては多分作者が会場にいるので、
この後ビールをご馳走すると機能が追加される可能性が!


細かい設定とかは質問で聞いて貰えれば。

Contenu connexe

Tendances

レガシーシステムのDBマイグレーションし始めた話
レガシーシステムのDBマイグレーションし始めた話レガシーシステムのDBマイグレーションし始めた話
レガシーシステムのDBマイグレーションし始めた話nekogeruge_987
 
Subversion
SubversionSubversion
Subversionghiblar
 
食べログで動いている自作ライブラリのお話
食べログで動いている自作ライブラリのお話食べログで動いている自作ライブラリのお話
食べログで動いている自作ライブラリのお話Tsukasa Oishi
 
Rubyでやろう。データ解析導入編( CSV, XML, JSON)
Rubyでやろう。データ解析導入編( CSV, XML, JSON)Rubyでやろう。データ解析導入編( CSV, XML, JSON)
Rubyでやろう。データ解析導入編( CSV, XML, JSON)NAKAOKU Takahiro
 
Amazon Redshift ことはじめ
Amazon Redshift ことはじめAmazon Redshift ことはじめ
Amazon Redshift ことはじめShiro Miyazaki
 
AWS Auroraよもやま話
AWS Auroraよもやま話AWS Auroraよもやま話
AWS Auroraよもやま話Akira Miki
 
SubversionとSugarsync
SubversionとSugarsyncSubversionとSugarsync
SubversionとSugarsyncHidenori Goto
 
コロナ禍の所蔵品検索システム
コロナ禍の所蔵品検索システムコロナ禍の所蔵品検索システム
コロナ禍の所蔵品検索システムNaosuke Okamoto
 
itamaeで一撃サーバーProvisioning
itamaeで一撃サーバーProvisioningitamaeで一撃サーバーProvisioning
itamaeで一撃サーバーProvisioningYuto Ogi
 

Tendances (11)

nextl enju 56
nextl enju 56nextl enju 56
nextl enju 56
 
Mysql report
Mysql reportMysql report
Mysql report
 
レガシーシステムのDBマイグレーションし始めた話
レガシーシステムのDBマイグレーションし始めた話レガシーシステムのDBマイグレーションし始めた話
レガシーシステムのDBマイグレーションし始めた話
 
Subversion
SubversionSubversion
Subversion
 
食べログで動いている自作ライブラリのお話
食べログで動いている自作ライブラリのお話食べログで動いている自作ライブラリのお話
食べログで動いている自作ライブラリのお話
 
Rubyでやろう。データ解析導入編( CSV, XML, JSON)
Rubyでやろう。データ解析導入編( CSV, XML, JSON)Rubyでやろう。データ解析導入編( CSV, XML, JSON)
Rubyでやろう。データ解析導入編( CSV, XML, JSON)
 
Amazon Redshift ことはじめ
Amazon Redshift ことはじめAmazon Redshift ことはじめ
Amazon Redshift ことはじめ
 
AWS Auroraよもやま話
AWS Auroraよもやま話AWS Auroraよもやま話
AWS Auroraよもやま話
 
SubversionとSugarsync
SubversionとSugarsyncSubversionとSugarsync
SubversionとSugarsync
 
コロナ禍の所蔵品検索システム
コロナ禍の所蔵品検索システムコロナ禍の所蔵品検索システム
コロナ禍の所蔵品検索システム
 
itamaeで一撃サーバーProvisioning
itamaeで一撃サーバーProvisioningitamaeで一撃サーバーProvisioning
itamaeで一撃サーバーProvisioning
 

Similaire à Webサーバ勉強会#5

初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなしOonishi Takaaki
 
Hatena's Infrastructure from the beginning
Hatena's Infrastructure from the beginningHatena's Infrastructure from the beginning
Hatena's Infrastructure from the beginningShinji Tanaka
 
Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築VOYAGE GROUP
 
20160215 04 java ee7徹底入門 jbatch
20160215 04 java ee7徹底入門 jbatch20160215 04 java ee7徹底入門 jbatch
20160215 04 java ee7徹底入門 jbatchJun Inose
 
Sql server2014復習とsqlserver2016の紹介
Sql server2014復習とsqlserver2016の紹介Sql server2014復習とsqlserver2016の紹介
Sql server2014復習とsqlserver2016の紹介Oda Shinsuke
 
SQL Server/SQL Database の新機能のお話し
SQL Server/SQL Database の新機能のお話しSQL Server/SQL Database の新機能のお話し
SQL Server/SQL Database の新機能のお話しInsight Technology, Inc.
 
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介Kodai Terashima
 
SharePoint 2013 Preview レビュー
SharePoint 2013 Preview レビューSharePoint 2013 Preview レビュー
SharePoint 2013 Preview レビューHirofumi Ota
 
20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会Takahiro Iwase
 
Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築Kenta Suzuki
 
Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点Kodai Terashima
 
新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた
新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた
新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみたShuntaro Saiba
 
[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いているAkihiro Kuwano
 
B 2-1 はじめての Windows Azure
B 2-1 はじめての Windows AzureB 2-1 はじめての Windows Azure
B 2-1 はじめての Windows AzureGoAzure
 
20121019-jenkins-akiko_pusu.pdf
20121019-jenkins-akiko_pusu.pdf20121019-jenkins-akiko_pusu.pdf
20121019-jenkins-akiko_pusu.pdfakiko_pusu
 
SQL Server 2014 In Memory OLTP Overview
SQL Server 2014 In Memory OLTP OverviewSQL Server 2014 In Memory OLTP Overview
SQL Server 2014 In Memory OLTP OverviewMasayuki Ozawa
 
Zabbix 1.8の概要と新機能
Zabbix 1.8の概要と新機能Zabbix 1.8の概要と新機能
Zabbix 1.8の概要と新機能Kodai Terashima
 

Similaire à Webサーバ勉強会#5 (20)

Fluentd casual
Fluentd casualFluentd casual
Fluentd casual
 
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
 
TFSを支える技術
TFSを支える技術TFSを支える技術
TFSを支える技術
 
Hatena's Infrastructure from the beginning
Hatena's Infrastructure from the beginningHatena's Infrastructure from the beginning
Hatena's Infrastructure from the beginning
 
Eight meets AWS
Eight meets AWSEight meets AWS
Eight meets AWS
 
Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築
 
20160215 04 java ee7徹底入門 jbatch
20160215 04 java ee7徹底入門 jbatch20160215 04 java ee7徹底入門 jbatch
20160215 04 java ee7徹底入門 jbatch
 
Sql server2014復習とsqlserver2016の紹介
Sql server2014復習とsqlserver2016の紹介Sql server2014復習とsqlserver2016の紹介
Sql server2014復習とsqlserver2016の紹介
 
SQL Server/SQL Database の新機能のお話し
SQL Server/SQL Database の新機能のお話しSQL Server/SQL Database の新機能のお話し
SQL Server/SQL Database の新機能のお話し
 
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
オープンソースでシステム監視!Zabbix 1.8の機能と簡単インストール手順の紹介
 
SharePoint 2013 Preview レビュー
SharePoint 2013 Preview レビューSharePoint 2013 Preview レビュー
SharePoint 2013 Preview レビュー
 
20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会20110517 okuyama ソーシャルメディアが育てた技術勉強会
20110517 okuyama ソーシャルメディアが育てた技術勉強会
 
Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築Jenkinsとhadoopを利用した継続的データ解析環境の構築
Jenkinsとhadoopを利用した継続的データ解析環境の構築
 
Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点Zabbixのパフォーマンスチューニング & インストール時の注意点
Zabbixのパフォーマンスチューニング & インストール時の注意点
 
新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた
新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた
新卒3年目のぼくが、でぶおぷす???なオジサンだらけのエンプラ金融PJにAnsibleを導入してみた
 
[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている
 
B 2-1 はじめての Windows Azure
B 2-1 はじめての Windows AzureB 2-1 はじめての Windows Azure
B 2-1 はじめての Windows Azure
 
20121019-jenkins-akiko_pusu.pdf
20121019-jenkins-akiko_pusu.pdf20121019-jenkins-akiko_pusu.pdf
20121019-jenkins-akiko_pusu.pdf
 
SQL Server 2014 In Memory OLTP Overview
SQL Server 2014 In Memory OLTP OverviewSQL Server 2014 In Memory OLTP Overview
SQL Server 2014 In Memory OLTP Overview
 
Zabbix 1.8の概要と新機能
Zabbix 1.8の概要と新機能Zabbix 1.8の概要と新機能
Zabbix 1.8の概要と新機能
 

Plus de oranie Narut

Devsumi2019 dynamodb
Devsumi2019 dynamodbDevsumi2019 dynamodb
Devsumi2019 dynamodboranie Narut
 
Jvm operation casual talks
Jvm operation casual talksJvm operation casual talks
Jvm operation casual talksoranie Narut
 
cassandra 100 node cluster admin operation
cassandra 100 node cluster admin operationcassandra 100 node cluster admin operation
cassandra 100 node cluster admin operationoranie Narut
 
Webサーバ勉強会#4
Webサーバ勉強会#4Webサーバ勉強会#4
Webサーバ勉強会#4oranie Narut
 
MySQL Casual LT : MySQL Upgrade 5.0 to 5.5
MySQL Casual LT  : MySQL Upgrade  5.0 to 5.5 MySQL Casual LT  : MySQL Upgrade  5.0 to 5.5
MySQL Casual LT : MySQL Upgrade 5.0 to 5.5 oranie Narut
 
Webサーバ勉強会03
Webサーバ勉強会03Webサーバ勉強会03
Webサーバ勉強会03oranie Narut
 
財務分析勉強会挨拶
財務分析勉強会挨拶財務分析勉強会挨拶
財務分析勉強会挨拶oranie Narut
 
Webサーバ勉強会02
Webサーバ勉強会02 Webサーバ勉強会02
Webサーバ勉強会02 oranie Narut
 
Webサーバ勉強会 発表資料
Webサーバ勉強会 発表資料Webサーバ勉強会 発表資料
Webサーバ勉強会 発表資料oranie Narut
 
It勉強会の勉強会
It勉強会の勉強会It勉強会の勉強会
It勉強会の勉強会oranie Narut
 

Plus de oranie Narut (10)

Devsumi2019 dynamodb
Devsumi2019 dynamodbDevsumi2019 dynamodb
Devsumi2019 dynamodb
 
Jvm operation casual talks
Jvm operation casual talksJvm operation casual talks
Jvm operation casual talks
 
cassandra 100 node cluster admin operation
cassandra 100 node cluster admin operationcassandra 100 node cluster admin operation
cassandra 100 node cluster admin operation
 
Webサーバ勉強会#4
Webサーバ勉強会#4Webサーバ勉強会#4
Webサーバ勉強会#4
 
MySQL Casual LT : MySQL Upgrade 5.0 to 5.5
MySQL Casual LT  : MySQL Upgrade  5.0 to 5.5 MySQL Casual LT  : MySQL Upgrade  5.0 to 5.5
MySQL Casual LT : MySQL Upgrade 5.0 to 5.5
 
Webサーバ勉強会03
Webサーバ勉強会03Webサーバ勉強会03
Webサーバ勉強会03
 
財務分析勉強会挨拶
財務分析勉強会挨拶財務分析勉強会挨拶
財務分析勉強会挨拶
 
Webサーバ勉強会02
Webサーバ勉強会02 Webサーバ勉強会02
Webサーバ勉強会02
 
Webサーバ勉強会 発表資料
Webサーバ勉強会 発表資料Webサーバ勉強会 発表資料
Webサーバ勉強会 発表資料
 
It勉強会の勉強会
It勉強会の勉強会It勉強会の勉強会
It勉強会の勉強会
 

Webサーバ勉強会#5