1. FAST ESP 搜索系统 技术中心 2009 年 9 月

4. 系统结构 Administration Services 内容聚合 web DB file 文档处理 内容 文档 索引系统 搜索系统 查询和 结果处理 用户

11. File Traverser 其他文件 PDF 文件 XML 文件 File Traverser Document Processing DB collection collection collection

13. JDBC Connector JDBC Connector Document Processing DB Result Set sql 内 容 分 发 每行 1 个 文档 collection collection collection

15. 文档处理系统 Document Processing Engine 内 容 API 内 容 分 发 Search index index QR SFE collection collection collection

17. 内容流 Document Processing Engin Collection 1 内 容 API 内 容 分 发 index searchApi SFE Collection n Collection 2 API 客户扩展的处理器

28. 搜索处理系统 index 搜索 引擎 SFE Search Api Query and Result Server query 结果 Query& 参数 Query& 参数 HTTP client Text/xml 结果 Enhanced 结果 API client 结果处理 pipeline query 处理 pipeline

35. 相关术语 （ Relevancy Terminology ） For muli-term queries:the shorter the distance between query terms in a document,the higher the document’s rank value Proximity Importance of matching a query in a given document field Context Importance of geographical distance between a document’s associated latitude/longitude and a target location specified in a query Geo Assigned importance of a document ， independent of the query Quality Importance of a document determined by the links to it from other documents Authority Age of a document compared to the time when the query is issued Freshness 描述 术语

36. 相关术语 （ Relevancy Terminology ） 计算 context 和 proximity 时额外用到的统计数据。 The greater the number of query terms present in the same field of a matching document, the highter the document’s rank value Completeness The more frequent a query term occurs in the document(term frequency or TF)relative to the term’s frequency in the index(inverse document frequency or IDF),the higher the document’s rank value Frequency The earlier a query term occurs in a field,the highter the document’s rank value Position 描述 术语

37. 相关算法 （ Relevancy Formula ） R(d,q)=S(d)+F(d,T)+D(d,q) R=query q 在 document d 中的 rank 值 S=document d 的静态 rank 值，与 query 无关 F=freshness of document d at time t D=dynamic rank

44. Fast ESP 的语言学特性 增加索引时间 增加内容处理时间 增加磁盘使用 好的用户体验 坏处 好处

45. Fast ESP 的语言学特性 不需要重新处理文档 需要重新处理文档 增加 QPS 省 query 时间 Proper name 和 phrase recognition 不影响 index 增加 index Anti-phrasing 、 stopword Entity extraction Spell checking Tokenization Synonym Synonym Lemmatization Lemmatization Query 时使用 内容处理时使用

53. 多节点体系 获取内容 文档处理子系统 索引子系统 搜索子系统 查询与结果处理 子系统 搜索用户 Admin 组件

67. 部署结构 RI RS Ind RS RI RI RS RS RS RS QR Ind CP DP admin QR RT RT search10 search9 search5 search4 search3 search2 search1

68. 部署结构 Ind DP QR QR RS RS RS RS RS RS RI RI RI Ind CP DP

70. 索引字段 UGC- 现有字段： 建立专辑时使用 vuploadusername 视频上传用户 uuseeupdate 刷新时间 可以根据该字段导航 vsourcesite 来源网站 可以根据该字段导航 vtags 标签 可排序 vlength 视频长度 vplayurl 视频播放页面地址 可以根据该字段导航 vcategorys 类别 vlogo 视频图片 可排序 vtitle 视频标题 vevid 原始编码 ID vvid 原始 ID vid 唯一标识 备注 索引字段 名称

71. 索引字段 UGC- 准备扩充字段： 建立专辑 vuploaduserid 视频上传用户 ID 计算权重。可排序 vlink 引用次数 计算权重。可排序 vcomment 评论次数 计算权重。可排序 vpageview 观看次数 计算权重。可排序 Vfav 收藏次数 可以根据该字段导航 vchannel 频道 备注 索引字段 名称

72. 索引字段 专辑 - 现有字段： plvideocount 视频数 可以根据该字段导航 plchannel 频道 Vod 还是 ugc pltype 类别 plvideotitles 视频标题 plvideoinfo 视频信息 可以根据该字段导航 plsourcesite 来源网站 可以根据该字段导航 pltags 标签 可排序 pllength 总长度 VOD 时为文件 GUID plplayurl 第 1 个视频播放地址 可以根据该字段导航 plcategorys 类型 pllogo 图片 可排序 pltitle 标题 plbaikeid 百科 ID plid 唯一标识 备注 索引字段 名称

73. FAST ESP 搜索系统 技术中心 2009 年 9 月