Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
•
18 j'aime•8,121 vues
Fluentd Casual Talks #3にて発表した資料の増補版です。
Recommandé
Contenu connexe
En vedette
Plus de Kentaro Yoshida
Plus de Kentaro Yoshida (12)
Dernier
Dernier (9)
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
- 1. 13th Dec, 2013 Fluentd as a Middleware Engine MySQLのテーブルをElasticsearchへレプリケートする話 Kentaro Yoshida at Fluentd Casual Talks #3 page 1
- 5. 1. Yamabikoとは 本日の流れ 2. 自己紹介 3. 活用方法 4. まとめ page 5
- 9. Yamabikoの機能概要 Fluentd (td-agent) をコアエンジンに利用 出力のバッファリングやリトライ機構などを任せられる Fluentd + fluent-plugin-mysql-replicatorをデーモン化したもの MySQLから、透過的にElasticsearchへレコードの同期を行う AWS RDS・MariaDB・PerconaServer等の互換DBにも対応 任意のSQL文の結果の差分から、insert/update/deleteイベントを検知 SELECT * FROM search_test WHERE DATE_ADD(updated_at, INTERVAL 5 MINUTE) > NOW(); といったクエリで差分同期も可能 page 9
- 11. Yamabikoの挙動 mysql> create database myweb; mysql> create table search_test ( id int auto_increment, text text, PRIMARY KEY (id) ); page 11
- 12. Yamabikoの挙動 # query insert into search_test(text) values('aaa'); # notify event to fluentd # format: replicator.${db}.${table}.${event}.${pk} tag: replicator.myweb.search_test.insert.id record: {"id":"1","text":"aaa"} page 12
- 13. Yamabikoの挙動 # query update search_test set text='bbb' where text = 'aaa'; # notify event to fluentd tag: replicator.myweb.search_test.update.id record: {"id":"1","text":"bbb"} page 13
- 14. Yamabikoの挙動 # query delete from search_test where text='bbb'; # notify event to fluentd tag: replicator.myweb.search_test.delete.id record: {"id":"1"} page 14
- 15. 2. 自己紹介 page 15
- 16. 自己紹介 • よしけんさん • @yoshi_ken • (株)リブセンス • Web系インフラの 研究開発エンジニア • Fluentd歴 好きなプロダクト page 16 2012/4月∼
- 17. page 17
- 18. 3. 活用方法 page 18
- 19. インストール 手元のfluentd環境への導入 $ gem install fluent-plugin-mysql-replicator 既存のFluentdとは独立した Yamabiko としての導入 github.com/y-ken/yamabiko にてRPMパッケージを配布中 詳しい設定方法は README.md にまとめています github.com/y-ken/fluent-plugin-mysql-replicator page 19
- 20. 設定サンプル <source> type mysql_replicator host localhost username your_mysql_user password your_mysql_password database myweb query SELECT id, text, updated_at from search_test; tag replicator.myweb.search_test.${event}.$ {primary_key} </source> page 20
- 21. 設定サンプル <source> type mysql_replicator_multi manager_host localhost manager_username your_mysql_user manager_password your_mysql_password manager_database replicator_manager tag replicator.${name}.${event}.${primary_key} </source> page 21
- 22. 設定サンプル <match replicator.**> type mysql_replicator_elasticsearch host localhost port 9200 flush_interval 5s flush_at_shutdown yes </match> page 22
- 24. 6. まとめ page 24
- 27. We’re hiring!
- 28. お知らせ