1. 割とよくやる使い方

2. レプリケーションスレーブでの分割

3. 変更前構成図
バッチ処理が追いつかないようなケースがあった場合、
Master
DB
1.Get data
Master
DB
Full-text
search
replication
AP AP
Batch
2.Register
Slave
DB
Slave
DB
……
Full-text
search
……
……
Batch
……
Crawler Crawler ……
again,
again…

4. Spider投入後の構成図
レプリケーションスレーブで分割を行い、
バッチ処理の並列性を高めるのにSpiderを使います。
こうすることで、特定の処理のパフォーマンスの改善のみに
フォーカスした分割を行うことができ、テスト工数も最小化できます。
Master
DB
Master
DB
Full-text
search
replication
AP AP
Batch
2.Register
Slave
DB
Slave
DB
…
Full-text
search
…
…
Batch
…
Crawler Crawler …
DB
tbl_a
DB
tbl_a
DB
tbl_a
DB
tbl_a
DB
tbl_a
col_a%4=0
col_a%4=1 col_a%4=2
col_a%4=3
Data
sharding
by Spider
1.Get data
DB DB
tbl_atbl_a
again, again…
replication
1.Get data

5. 激しいログトラフィックをさばく

6. ログトラフィックをさばくためのサーバ構成図
まずBlackholeストレージエンジンのテーブルにログの書き込みを行い、
それをレプリケーションしてSpider経由で集計用のDBにかき集めます。
集計用DBにトリガを仕掛けて、
データの加工を合わせて行うということもよくやります。
AP
… Statistical
DBDB
AP
DB
tbl_a
DB
tbl_a
DB
tbl_a
…
tbl_a
tbl_a
1.Write log
2.Replication 3.Log data collecting
using Spider
Blackhole
… Trigger