这张ppt不全 请转到http://www.slideshare.net/wangscu/realtimetwittersearch 这里观看

1. 微博实时搜索
xuanxi@mogujie.com
汪亚军

2. 简介
于我
菇街搜索
实时搜索场景

3. 大纲
近实时搜索
菇街实时搜索
JAVA并发编程
Jessica 2.0
Q&A

4. Lucene segment
segment 1 segment 2 segment 3
Map
mergepolicy
Reduce
segment

5. Lucene 近实时搜索
IndexWriter.setRAMBufferSizeMB() 设置ram
buffer大小 LUCENE-843
IndexWriter.getReader() 将ram buffer刷回
RamDir 但不Commit LUCENE-1516
LUCENE-843(性能) VS LUCENE-1516(实时)

6. Zoie
由linkedin 发并 源
提供一个在lucene之上的封装保证实时性
快速doci<=>uid双向对应方案

7. Zoie
Mem A + Disk Mem A + new Disk
1,Mem A 添加文档立刻更新的 1,Mem A 添加文档立刻更新的
2,Disk在下次合并之前，一直使用 2, 使用前面Mem A和Disk合并好
的 new Disk
Mem A +Mem B+ Disk
1,Mem B 添加文档立刻更新的
2,Mem A 只读 与Disk合并
2,Disk 无变化 与Mem A合并

8. Zoie
RAM Rebuild 也有消耗 不能常做 (无法实时)
RAM变动 DISK Cache不会发送改变 数据重
DISK Rebuild 无cache. fav:{ 100 to 1000} 查
询是个灾难

9. Lucene查询快!?

10. Lucene查询不 快
实时搜索意味着缓存常常失效
没有term截断机制 也没有终端机制
10万结果集耗时100ms 或者更糟

11. 结论
为了实时搜索,常常刷新创建的segment,不可取
实时系统,缓存常常失效,这样我们没有办法在短
时间内,遍历所有的docId

12. 解决办法
可增量的倒排索引
从新向旧遍历的倒排索引
可中断的查询

13. 可增量倒排索引
term 字典
词频
text
PostingList

14. TermInfo
textpointer frequency startPostingsPotine endPostingsPotiner
a r
b
c parralle
d int arrays
...
... Term
x
字典
y
z

15. PostingList
textpointer frequency startPostingsPotiner endPostingsPotiner
a
b
c
d
...
...
x
y
z
PostingList

16. 查询PostingList
textpointer frequency startPostingsPotiner endPostingsPotiner
a
b
c
d
...
...
x 从新向旧遍历的倒排索引
y
z
PostingList

17. Lucene PostingInfo

18. 不靠谱!!!
textpointer frequency startPostingsPotiner endPostingsPotiner
a
b lucene
c 的压缩算法无法从新向旧搜索
d
文档
...
...
x 从新向旧遍历的倒排索引
y
z
PostingList

19. PostingInfo
docId
position (twitter 1-140 < 255 )

20. PostingInfo
docId
position (twitter 1-140 < 255 )
(docId <<8 ) | (position&0xFF)

21. PostingListStore
int pool(GC friendly)
auto expand
zero copy (do not like array)

22. PostingListStore

23. PostingListStore
如何连接term包含的所有片段(slice)组成一个
PostingList?

24. PostingListStore
PostingListPointer

25. PostingListStore
单个Term的PostingList的所有Slice组成一个双向链表
prepointer data ...
... data nextpointer

26. PostingListStore
单个Term的PostingList的所有Slice组成一个双向链表
prepointer data ...
... data nextpointer
双向链表的好处?

27. 可增量倒排索引!

28. 可中断查询
我们最 心最近有更新的前n条数据
从新向老查询
超时立马返回(HashedWheelTimer)

29. 智能二分查找算法
依次从新向旧找
记录上次二分查找时候各位置数据
对当前查找做智能直到
skipList search + smart search + binary
search

30. 总结
中断查询 + 从新查找PostingStore = 实时搜索

31. JAVA并发编程
writer和reader wait free(JMM)
保证reader的数据一致性(版本号)

32. Writer AND Reader
v = 100;
thread a write v = 101; demo
thread b read v => 100;
数据一致性 java并不能保证a写了就立马能被b
看到
Lock Free

33. JAVA内存模型
happen before
volatile
memory barrier
volatile 只能保证之前写的越过内存障碍*

34. 内存屏障
PostingStore越过内存屏障 => 从Term的
PostingList 始指针向新查找

35. 内存屏障
单个Term的PostingList的所有Slice组成一个双向链表
prepointer data ...
... data nextpointer
双向链表的好处

36. reader 数据一致性

37. 版本号

38. Jessica 2.0
去lucene化
纯内存postingListStore
从日志系统重建索引
可中断查询
存储原始数据(bitcask)

39. Jessica 2.0
jessica 负责索引
jessica monica负责打分排序
feeder monica
jessica
feeder负责分词 jessica

40. 我们需要你
降噪
提高召回率
个性化
分布式 高并发
分词

41. 感谢
twitter
Michael Busch

42. Q&A