Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.

Copyright ⓒ2020 CREATIONLINE, INC. All Rights Reserved
Logstashを愛して5年
370ページを超えるガチ本を書いてしまった男の話
1
2020/10/29(⽊)
第38回Elasticsearch勉強会
クリエーションライン株式会社⽇⽐野恒

⾃⼰紹介
2
もちろん、こっちですからね(笑)...
{
"名前": "⽇⽐野恒"
"所属": [
{
"会社": "クリエーションライン株式会社"
“役割": "データ分析テクニカルエバンジェリスト"
"資格": ["CISSP","CISA","情報処理安全確保⽀援⼠"]
}
]
"略歴": "10年間、ITコンサルティング会社に在籍。主に⾦融機関や公共機関に対し
てセキュリティ対策製品の提案導⼊、Elastic Stackを⽤いたセキュリティ脅威分析基
盤の開発を推進。現在は、データ分析基盤のアーキテクチャ設計やクラウドにおけるセキ
ュリティ実装⽅式検討などに従事。"
}
【参考】
・セキュリティログ分析基盤活⽤⼊⾨ (atmarkIT): https://www.atmarkit.co.jp/ait/series/16525/
・クリエーションライン技術ブログ(CL LAB): https://www.creationline.com/lab/h-hibino

クリエーションラインの紹介
3
会社概要
● 設⽴︓2006年1⽉
● 資本⾦︓215,572,000円
● 従業員数︓160名 (協⼒会社含む)
● 2019年度売上実績︓19.5億円
事業内容
● アジャイル開発⽀援
● DevOps⽀援
● サブスクリプション
● トレーニング
特徴
● 全社の85％以上がエンジニア
● アジャイル開発、DevOpsを正しく理解し導⼊推進できる技術⼒と体制
● オープンソース技術に注⼒、海外ソフトウェアベンダー、標準化団体とのパートナーシップ
● ⽇本初の認定 Kubernetesソリューションプロバイダー＆トレーナー
● 国内130社超えるお客様への導⼊実績
クリエーションラインのミッション
「IT技術によるイノベーションにより顧客と共に社会の進化を実現する」

アジャイル開発⽀援サービス事業
DevOps⽀援事業
4
体験 - Experience
DevOpsやアジャイルを実
際に体験することにより気
付きを得る。
知識 - Knowledge
DevOpsやアジャイルに関
連する知識を体系的に学
び、各個⼈の現状を認識
する。
認識 - Visualization
⾃分たちのチームの現状を整理し
認識することによりあるべき姿との
ギャップを認識する。
実践 -
Practice,Improvement
あるべき姿に向けて、継続的な改
善活動を実施する。
フェニックスプロジェクトワークショップ
アジャイル体験ワークショップ
EXIN Agile Scrum ファンデーションコース
DevOps セミナー
DASA DevOps Fundamentals コース
Value Stream Mapping
DevOps Dojo
アジャイルコーチによるアセスメント
4

サブスクリプション事業
5
クリエーションラインでは、
DevOps関連及びデータ分析関連の海外ベンダーとの国内代理店契約を締結しております。
各ベンダーのエンタープライズ製品の販売から、⽇本語テクニカルサポート、コンサルティング及びトレーニングの提供を
実施しております。

きっかけは2年前...
6
そう、2018年12⽉にElastic社にご招待頂いた
「Elastic Japan Community Lunch」でした。

こんなやり取りがありましてね
7
Elasticはバージョンアップも速いし
これを1⼈で続けていくのは正直⼤変。
⽇⽐野さんも本書きましょうよ︕
仕事をしながら本を書くとか本当にすごいです︕
Logstashで1冊書いて、売れますかね︖(笑)
惣道先⽣
⽇⽐野
⽇⽐野ElasticsearchとKibanaは⾃分が書きますから
LogstashとBeatsを書くとかどうですか︖
惣道先⽣
なるほど︕やりましょ︕︕
⽇⽐野※ Elasticsearch実践ガイドの著者: 惣道先⽣

そう、意外とないんですLogstash本︕
8
【参考】
・Elasticsearch実践ガイド https://book.impress.co.jp/books/1117101041
・データ分析基盤構築⼊⾨ https://www.amazon.co.jp/dp/B075RTZ141
・Elasticsearch NEXT STEP https://nextpublishing.jp/book/10830.html
↑ETLがFluentdなんですよね^^

Elastic Stack実践ガイドとは
9
【参考】
・Elastic Stack実践ガイド[Elasticsearch/Kibana編] https://book.impress.co.jp/books/1119101078
・Elastic Stack実践ガイド[Logstash/Beats編] https://book.impress.co.jp/books/1119101079
Elasticsearch/Kibana編とLogstash/Beats編の2部構成の実践的な書籍です。
l 発売⽇: 2020/8/7
l ページ数: 336
l 値段: 3,000円(抜き)
l 著者: 惣道哲也
l 発売⽇: 2020/9/16
l ページ数: 376
l 値段: 3,500円(抜き)
l 著者: ⽇⽐野恒
本⽇はこちらの話

本書で伝えたかったこと
10
ビックデータ分析の考え⽅をログ分析+Elastic Stackで応⽤するとこうなるんだよ︕
というテーマについて真剣に向き合った書籍になっています。
全⽂検索ログ分析
「Logstashのことを書いた書籍」ではなく「ログ分析のことを書いた書籍」

執筆スケジュール
11
2019年
校正
フェーズ
執筆
フェーズ
9⽉ 10⽉ 11⽉
1章
2020年
12⽉ 1⽉ 2⽉ 3⽉ 4⽉ 5⽉ 6⽉ 7⽉ 8⽉
2章
3章
4章
5章
6章
初校
2校
3校
念校
執筆は毎⽉各章50ページを⽬安に原稿送付、校正は全部まとめて原稿チェックとなります。

第1章の紹介とトピック
12
利⽤するツールに関係なく、ログ分析をする全ての⼈に⼀読して頂きたいことが書いてあります。
■ログ分析の難しさ
●ビジネス観点での難易度
- 分析⼿法とデータソースのマッチング
- 開発環境や検証環境の準備
●システム観点での難易度
- ログデータは⽣きもの
- ログデータの再取り込みをどう考えるか
このあたりの内容は、分析基盤の本番運⽤
を考えているデータエンジニアにはぜひ読んで
頂きたい︕

13
Logstashのインストールの中でもオフラインでのプラグイン導⼊⼿順にこだわりました。
超マニア向け(笑)

14
FilebeatとWinlogbeatを使って、LinuxとWindowsのBeats導⼊⼿順を解説しています。
VS
ではなく...
AND
という話︕

15
ログ分析でよく利⽤されるものを中⼼にほぼプラグインのお話になります。
【Input】【Filter】【Output】【Codec】
ü Beats
ü File
ü Kinesis
ü Jdbc
ü Syslog
ü Dead_letter_queue (5章)
ü S3 (6章)
ü S3snssqs (6章)
ü Cloudwatch_logs (6章)
ü Date
ü Fingerprint
ü Drop
ü Mutate
ü Prune
ü Ruby
ü Dissect (5章)
ü Grok (5章)
ü Dns (5章)
ü Elasticsearch (5章)
ü Geoip (5章)
ü Http (5章)
ü Jdbs_static (5章)
ü Jdbc_streaming (5章)
ü Memcached (5章)
ü Translate (5章)
ü Useragent (5章)
ü Xml (Codecで紹介)
ü Elasticsearch
ü File
ü S3
ü Email
ü Cef
ü Json
ü Json_lines
ü Multiline
ü Netflow
ü Rubydebug

16
ログ分析でElasticsearchを利⽤する際のサイジングの考え⽅は必⾒です。

17
AWS環境におけるログ分析として、SNS/SQS Based S3の仕組みを紹介しています。

本書の⽬次
18
第1章ログの管理と分析
1-1 ログとは
1-2 時系列データ
1-3 ETLとは
1-4 ログ分析の難しさ
第2章 Logstashの基礎
2-1 Logstashとは
2-2 Logstashの構成
2-3 Logstashの導⼊
2-4 前提・導⼊準備（OSとJVMのバージョン）
2-5 Logstashのインストール
2-6 Logstashの設定
第3章 Beatsの基礎
3-1 Beatsとは
3-2 Beatsの導⼊
3-3 Filebeatの設定
3-4 Winlogbeatの設定
第4章 Logstashのプラグイン紹介
4-1 パイプライン定義ファイルの書き⽅
4-2 Inputプラグインの紹介
4-3 Filterプラグインの紹介
4-4 Outputプラグインの紹介
4-5 Codecプラグインの紹介
第5章 Logstashの⾼度な ETL管理
5-1 ⾼度な ETL処理
5-2 ログ可⽤性対策
5-3 パイプライン管理
5-4 性能管理と運⽤管理
5-5 Elasticsearchのサイジング⽅法
第6章 AWS 環境におけるログ分析
6-1 基本的なアーキテクチャ
6-2 S3から取得するケース
6-3 CloudWatch Logsから取得するケース

やはり校正作業は⼤変だった
19
章⾴数初校 2校 3校念校
第1章 P34 585件 161件 30件 1件
第2章 P52 536件 108件 30件 2件
第3章 P57 557件 99件 34件 0件
第4章 P82 913件 332件 61件 2件
第5章 P65 714件 167件 30件 0件
第6章 P65 365件 87件 18件 1件
合計 P355 3,670件 954件 203件 6件
↑2校のときは、376ページをネットプリントで印刷して原稿チェック
300ページを⼤幅に超えて原稿を上げてしまい、PDFでの校正作業に苦しみました。
【修正数】

意識して原稿書いてたんですよ...
20
書き始めの頃に使っていた単語や⽂⾔を覚えていない問題...あります︕︕
# 採⽤した⽂⾔⽂⾔の揺らぎ
1 永続キュー (Persistent Queue) 永続キュー (Persistent Queue)、ファイルキュー、Persistent Queue、永続キュー
2 フォーマットフォーマット、形式、フォーマット形式、ログフォーマット
3 パイプラインデータパイプライン、パイプライン、Pipeline
4 VPC Flow Logs VPC Flow Logs、VPCフローログ、フローログ、VPC FlowLogs
5 OS OS、オペレーションシステム、Linux OS、Windows OS
6 シングルクォーテーションシングルクォーテーション、⼀重引⽤符
7 S3 S3、Amazon S3、Simple Storage Service
【実際にあった例】

参考にした書籍
21
【参考】
・はじめての技術書ライティング https://nextpublishing.jp/book/9598.html
初校を終え、⽇本語の難しさを痛感、校正前に本来は推敲すべきことを教えてもらいました。
5-2. 推敲の⽅法
5-2-1. 印刷する
5-2-2. 他⼈に読んでもらう
5-3. 悪⽂の例
5-3-1. 執筆に疲れてくる
5-3-2. 表記が統⼀されていない
5-3-3. ⽂や段落が短すぎる/⻑すぎる
5-3-4. 接続詞を使わない
5-3-5. 重要なことを途中で書く
5-3-6. 1つの⽂に複数のトピックを⼊れる
5-3-7. 修飾の関係がわからない
5-3-8. 括弧で⻑い⽂章を挟む
5-3-9. 本⽂中に箇条書きを挟む
5-3-10. 同じ意味を難しく⾔う
5-3-11. 同じ意味を繰り返す
5-3-12. 何度も同じ語を使う
5-3-13. ひらがなが⻑々と続く
5-3-14. 難しい漢字を使う
5-3-15. 名詞⽌め、体⾔⽌めを使う
5-3-16. 名詞を「の」でつなげる
5-3-17. 過度な造語や当て字をする
5-3-18. 俗語を使う
5-3-19. 漢字や慣⽤句を間違える
5-3-20. 単語の意味を間違える
5-3-21. 専⾨⽤語を専⾨⽤語で説明する
5-3-22. 主語が読者ではない
5-3-23. コマンド名で指⽰する

最後に良かったこと︕
22
新宿紀伊國屋書店東京⼋重洲ブックセンター
ü とにかく両親や家族が喜ぶ (内容は分からないと必ず⾔われるw)
ü 国⽴国会図書館に並ぶ (⼦供が⾼校⽣になると⾃慢できるらしいw)
ü 意外と有名書店に⾯出しされているとテンションが上がる (クラウドやコンテナのコーナーかw)

無償キャンペーンもしてます
23
https://service.creationline.com/elastic_presentcampaign
↓こちらのセットが届きますよ︕

Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.

Similar to Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話. (20)

More from Hibino Hisashi

More from Hibino Hisashi (17)

Recently uploaded

Recently uploaded (12)

Logstashを愛して5年、370ページを超えるガチ本を書いてしまった男の話.