Consistent Hashing

1. Consistent Hashing
についての小ネタ
@huydx
RightSegment

2. WIKI
コンシステントハッシュ法 (Consistent
hashing) はスロットの追加や削除に対して、
最小限のキーのスロットへのマッピングの変
更で、ハッシュテーブルの機能を提供すること
のできる特殊なハッシュ法。

3. 問題の例：MySQL shard-ing
Server1 Server2 Server3
クライアント id 15持って
いる！
サーバ数 N = 3

4. 問題の例：MySQL shard-ing
Server1 Server2 Server3
クライアント
サーバ数 N = 3
キーの場所 = hash(key) (mod N)

5. 問題の例：MySQL shard-ing
Server1 Server2 Server3
クライアント
サーバ追加した！ N = 4
Server4
全キーがシフトされる！！！！
キーの場所 = hash(key) (mod N+1)

6. できるだけマシンを追加する
ときに最低限のアイテムしか
インバリデートされていない
アルゴリズム欲しい！

7. Consistent Hashing 登場

8. キーポイント
キーだけではなく、サーバの場
所もハッシュする
同じ空間に同じハッシュアルゴ
リズムでやって、「近い」とい
う指標で場所を探せばよい

9. サーバの場所のハッシュ（bucket）
0 2^32-1
キーのハッシュ

10. 0 2^32-1
近いところにアサイン！

11. この場合はなににアサインすべき？

12. 丸のクロックフェースで
考えばよい！

13. なんかバランスなくない？

14. 一つのサーバを複数にハッシュすればよい！
1 2 1 2

15. 実装
• サーバを早く検索するために、RedBlack Tree
でサーバのハッシュ後のリストを使えばよい
• それで：追加、削除、検索、全てが O(logN)
かかる

16. val serverList = new TreeMap[String, Long]()
for (server <- servers) {
serverList.put(hash(server.ip), server.ip)
}
def findKey(key: String): String = {
serverList.tailMap(hash(key)).firstKey
}

17. ハッシュアルゴリズムはなにを
使えばよい？
⚫ 同じ値→同じハッシュ
⚫ Longの空間でのランダムさ

18. MD5を使ってハッシュして、
最初の４バイトをLongに変換
すればよい！

19. val md5 = MessageDigest.getInstance("MD5")
md5.reset()
md5.update(in.getBytes)
val bKey: Array[Byte] = md5.digest()
val res: Long =
(bKey(3) & 0xFF << 24 ).asInstanceOf[Long] |
(bKey(2) & 0xFF << 16 ).asInstanceOf[Long] |
(bKey(1) & 0xFF << 8 ).asInstanceOf[Long] |
(bKey(0) & 0xFF ).asInstanceOf[Long]
res

20. 参考：
• http://www.metabrew.com/article/libketama-consistent-
hashing-algo-memcached-clients (ketamaのConsistent
Hashingでは各サーバのウェイトも設定できるってすごい！）
• http://people.csail.mit.edu/karger/Talks/Hash/sld027.htm
• https://www.akamai.com/us/en/multimedia/documents/
technical-publication/consistent-hashing-and-random-trees-
distributed-caching-protocols-for-relieving-hot-spots-on-the-
world-wide-web-technical-publication.pdf