Couchconf Tokyo 2013 忍者ツールズのCouchbase導入事例 Kenichi Tsunokawa, Samurai Factory Inc. http://www.couchbase.com/jp/couchconf-tokyo-jp

1. 忍者ツールズのCouchbase
導入事例
Kenichi Tsunokawa, Samurai Factory Inc.

2. アジェンダ
• 会社紹介、サービス紹介
• Couchbaseをどう利用しているか
• Couchbase導入後、どう良くなったか
• 運用していて困ったこと
• 運用していて分かったこと

3. 自己紹介
株式会社サムライファクトリー
角川 兼一(Kenichi Tsunokawa)
サーバー運用/構築を担当しています。
Twitter:@tsunokawa

4. 株式会社サムライファクトリー
WEBメディアサービス
http://www.ninja.co.jp/
Marketingツール/広告サービス
http://www.biz-samurai.com/

5. 忍者ツールズ
• 忍者ブログ
• 忍者ホームページ
• 忍者サンドボックス
• 忍者アクセス解析
• NINJA ANALYZE

6. BIZ SAMURAI

7. 忍者ツールズは
様々なサービスを展開しています。

8. その様々なサービスで
Couchbaseを利用しています。

9. 主にDBキャッシュで利用していて、
Memcachedから移行しつつあります。

10. 忍者ツールズ
サービス環境

11. 忍者ツールズ
サーバー構成
LVS
Apache
Memcached
DB

12. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

13. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

14. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

15. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

16. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

17. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

18. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

19. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

20. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

21. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached
DB

22. 忍者ツールズ
サーバー構成
LVS
LVS
Apache
Memcached ？
DB

23. 忍者ホームページ 忍者ブログ 忍者サンドボックス
LVS LVS LVS
LVS LVS LVS
Apache Apache Apache and
more
Memcached Memcached Memcached
DB DB DB

24. Couchbase登場！
Memcached
→ Couchbase

25. 忍者ホームページ 忍者ブログ 忍者サンドボックス
LVS LVS LVS
and
Apache Apache Apache more
DB DB DB
Couchbase

26. Couchbase導入前の
Memcachedの課題
• 各サービスごとにMemcachedの起動が必要
• Memcachedの運用(主に監視)が手間
• 冗長構成が取りづらい
• スケールがしづらい

27. Couchbase導入後
• 各サービスごとにMemcachedの起動が必要

28. Couchbase導入後
• 各サービスごとにMemcachedの起動が必要
↓
Couchbaseのクラスタが1つさえあれば
サービスごとにバケットを作るだけで良くなった。

29. Couchbase導入後
• 各サービスごとにMemcachedの起動が必要
• Memcachedの運用(主に監視)が手間

30. Couchbase導入後
• 各サービスごとにMemcachedの起動が必要
• Memcachedの運用(主に監視)が手間
↓
監視対象サーバーがCouchbaseサーバーだけ
で良くなった。

31. Couchbase導入後
• 各サービスごとにMemcachedの起動が必要
• Memcachedの運用(主に監視)が手間
• 冗長構成が取りづらい
• スケールがしづらい

32. Couchbase導入後
•各サービスごとにMemcachedの起動が必要
•Memcachedの運用(主に監視)が手間
•冗長構成が取りづらい
•スケールがしづらい
↓
Couchbaseが得意！

33. Couchbase環境
• Membase1.7.1から利用開始
• アップデートを繰り返し現在バージョン1.8.0を
利用中
• 今後2.0にバージョンアップ予定

34. Couchbase環境
LVS LVS
Couchbase Couchbase Couchbase Couchbase

35. Couchbase環境
サーバー
• Couchbase1.8.0
• メモリ16GB
• SSD*2(RAID0)
計：8node

36. 運用していて困ったこと

37. Couchbase1.8.0→1.8.1
アップデートテストを行ったところ、
Rebalanceがフリーズするトラブル
■couchbase-server-1.8.0r-1
↓アップデート
■couchbase-server-1.8.1-937

38. 1. クラスタから1台を外す。
2. Rebalance
3. クラスタから外した1台を/etc/init.d/couchbase-
server stopでデーモン停止
4. 1.8.0→1.8.1へアップデート
5. WebUIからAdd server
6. Rebalance
Rebalanceでプログレスバーが先に進まない状態になってし
まった。
「0.0.3% complete」のように途中で止まってしまった。

39. 1. クラスタに存在するバケットを全て削除
2. バケットを再作成
3. もう一度アップデートを実行
Rebalanceはフリーズせず、
アップデート作業が成功した。

40. Couchbase1.8.0のクラスタと
Couchbase2.0の新クラスタを同時並行稼働中
1バケットずつCouchbase2.0へ移行中

41. 運用していて分かったこと

42. Memcached Type？
Couchbase Type？
最初どちらを使えば良いか分からなかった。。。
主にDBキャッシュ目的だったので、
Memcached Typeでバケットを作っていた。

43. 最初はMemcached Typeを利用
・キャッシュ目的(永続性不要)
・これまでMemcachedを使っていた
⇒よってMemcached Typeでバケットを作
成・運用

44. Memcached Typeだと
ネットワーク障害の時古いデータが
getされる場合があるのでは？という
疑問が。

45. サーバー名 ステータス 格納Key&Value
キャッシュサーバー1 稼働 -
キャッシュサーバー2 稼働 -
キャッシュサーバー3 稼働 -
キャッシュサーバー4 稼働 -

46. • Memcached Typeのバケットに
KeyとValueをsetします。
Key Value
Key1 12345

47. Escape character is '^]'.
set key1 0 3600 5
12345
STORED
get key1
VALUE key1 0 5
12345
END

48. サーバー名 ステータス 格納Key&Value
キャッシュサーバー1 稼働 -
キャッシュサーバー2 稼働 -
キャッシュサーバー3 稼働 key1=12345
キャッシュサーバー4 稼働 -

49. ネットワーク障害で
キャッシュサーバー3がダウン
サーバー名 ステータス 格納Key&Value
キャッシュサーバー1 稼働 -
キャッシュサーバー2 稼働 -
キャッシュサーバー3 ネットワークダウン key1=12345
キャッシュサーバー4 稼働 -

50. key1の値は取れなくなった。
Escape character is '^]'.
get key1
END

51. キャッシュサーバー3がダウンした状態で
同じKey, 違うValueをset(上書き想定)
Key Value
Key1 abcde

52. Escape character is '^]'.
set key1 0 3600 5
abcde
STORED
get key1
VALUE key1 0 5
abcde
END

53. サーバー名 ステータス 格納Key&Value
キャッシュサーバー1 稼働 -
キャッシュサーバー2 稼働 key1=abcde
キャッシュサーバー3 ネットワークダウン key1=12345
キャッシュサーバー4 稼働 -

54. キャッシュサーバー3が
ネットワークダウンから復帰

55. サーバー名 ステータス 格納Key&Value
キャッシュサーバー1 稼働 -
キャッシュサーバー2 稼働 key1=abcde 新しいvalue
キャッシュサーバー3 稼働 key1=12345 古いvalue
キャッシュサーバー4 稼働 -

56. Escape character is '^]'.
get key1
VALUE key1 0 5
12345
END

57. • サーバー台数：4台 key1はキャッシュサーバー3に
• サーバー台数：3台 key1はキャッシュサーバー2に
ネットワーク障害からサーバー台数が4台に戻ると、
Value格納(担当)サーバーがキャッシュサーバー3に戻
る為、古いデータがgetされる。

58. Couchbase Typeの
バケットだったら

59. ネットワーク障害で
キャッシュサーバー3がダウン
サーバー名 ステータス 格納Key&Value
キャッシュサーバー1 稼働 -
キャッシュサーバー2 稼働 -
キャッシュサーバー3 ネットワークダウン key1=12345
キャッシュサーバー4 稼働 -

60. Couchbaseモードのバケットだと、
Trying 10.0.0.1...
Connected to 10.0.0.1
Escape character is '^]'.
get key1
SERVER_ERROR proxy write to downstream
10.0.0.3
set key1 0 3600 5
abcde
SERVER_ERROR proxy write to downstream
10.0.0.3

61. setもgetも以下のようにエラーが返ってきました。
エラーを返すことでデータの整合性が保たれるようになってい
る。
バケットはCouchbase Typeで作成したほうが良さそう？

62. バケット設定の比較

63. Bucket Type Replication Auto Failover
Memcached Type - ON
Couchbase Type 0(disable) ON
Couchbase Type 1～3 ON

64. ※あくまで個人的な所感です
• Memcached Type
先程のネットワーク障害時に整合性の問題が発生するかも？
• Couchbase Type Replication 0(disable)
Memcached Typeと似ているが、ネットワーク障害時Auto
FailoverがONになっていたとしてもレプリカがないので、応答
が出来ない。Rebalance後応答可。
• Couchbase Type Replication 1～3
Auto FailoverがONになっていると、Failover後レプリカを持つ
サーバーが代わりに応答を返す。

65. ※あくまで個人的な所感です
• Memcached Type
先程のネットワーク障害時に整合性の問題が発生するかも？
• Couchbase Type Replication 0(disable)
Memcached Typeと似ているが、ネットワーク障害時
Auto FailoverがONになっていたとしてもレプリカがない
ので、応答が出来ない。Rebalance後応答可。
• Couchbase Type Replication 1～3
Auto FailoverがONになっていると、Failover後レプリカ
を持つサーバーが代わりに応答を返す。
今はMemcached Typeを利用していますが、今後はこの設定のバケットへ切り替えを
考えています。
今後もベストな設定を求めて検証を続けていきます。

66. 最後に

67. Couchbaseはまさに求めていた
ソフトウェアです。
これからも検証を行いつつ使い続けます。
Thank you！Couchbase

68. ご清聴ありがとうございました！