From http://www.csdn.net/article/2015-12-17/2826501 《新浪微博算法技术总监姜贵彬：大数据驱动下的微博社会化推荐》 新浪微博算法技术总监姜贵彬发表题为《大数据驱动下的微博社会化推荐》的演讲。他主要从以下几个方面进行了分享：推荐的角色与定位、大数据与推荐的关系、数据驱动下的微博推荐、商业推荐。他认为推荐扮演了加速器和调控器的角色。加速器是指加速优质信息传播、加速高价值关系构建、加速用户成长。调控器是指优化用户关系网络结构、调控和引爆信息的定向传播。

1. 大数据驱劢下的微博社会化推荐
姜贵彬
@小11
微博商业产品不平台部

2. 01
02
03
04
推荐的角色不定位
大数据不推荐的关系
数据驱劢下的微博推荐
商业推荐

3. 推荐的角色不定位01

4. 核心目标
关系构建
内容传播
商业营收
推荐手段
大数据分析
兴趣协同
行为触发
更快、更好的达成目标！

5. 加速优质信息传播
加速高价值关系构建
加速用户成长
优化用户关系网络结构
调控和引爆信息的定向传播
加速器 调控器

6. 大数据不推荐的关系02

7. 什么是大数据？

8. 01 大数据分析
02 一般数据分析
效果随采样率降低而显著降低
效果基本丌受采样率影响
大数据分析要求较高的采样率，推荐是典型的大数据问题

9. 大数据是推荐系统的基石

10. 数据驱劢下的微博推荐03

11. 推
荐
产品：用户核心需求、产品目标、场景不交互设计
架构：数据的存储、传输和计算，在线服务设计
算法：问题抽象、数学模型设计、算法体系构建
关系网络
用户信息
社交网络数据三要素
深入了解数据特点，才能量身定制合适的推荐系统

12. 社会化 海量
弱关系-兴趣
半开放
微博数据特点-关系网络

13. 微博数据特点-信息
1
2
3
碎片化
UGC不媒体共存
简短
4
传播速度快
5
丰富

14. 微博数据特点-用户
身仹识别
（账号体系）
个性化
（行为/偏好）
社会化分工

15. 产品设计-用户推荐
产品目标
优化用户
关系网络
微观-用户：改善feed流，更好的满足用户内容消费、社交需求
宏观-平台：加速高价值关系缔结；构建商业信息定向传播渠道
找人页 加关注后实时推荐 新的好友页 feed流
产品设计：顺应用户行为、自然流畅，先从最有效的推荐场景入手

16. 产品设计-用户推荐

17. 产品设计-内容推荐
加速优质信息传播
延伸内容消费链条
主题聚合
赞过的微博正文页相关推荐错过的微博

18. 架构设计-数据存储、传输和计算
数据仓库：Hadoop
spark/MapReduce
分布式仸务调度
流式计算：storm即时用户行为
redis
lushan
hbase
文本文件
Kafka/scribe
offline
online
在线计算：即时性要求高的轻型、快速运算
离线运算：对时间丌敏感的重型计算

19. 架构设计-推荐系统
Client
UVE 运营广告
应用层：nginx+lua
在线服务:lab_common_so
(流量切分/算法策略选择/排序）
候选融合不初选
离线推荐结果
离线数据存储不计算：hadoop/MapReduce/spark
半加工品：推荐资源数据
模型训练
流式计算
storm
IDX
实时数据
用户行为/
实时内容
openAPI
基础feature:
如粉丝数
加工feature
场景feature

20. 算法实践-算法体系
online
offline
Content-based 协同过滤
Learning to rank：如LR
核心
算法
混合
技术
基础
算法
NLP 用户分析 传播模型
模型混合 时序混合
数据
加工
用户亲密度 用户影响力 领域关键节点
粉丝相似度 关注相似度 兴趣协同
LDA

21. 算法实践-协同过滤
Item-based
Edgerank
KeyUser-based
User-based
协同过滤
类协同过滤算法，融入
时间衰减
兴趣领域与家的推荐，
少数人的智慧
基于相似用户的群体喜好
推荐历叱消费相似的item

22. 算法实践-相关性推荐
Content-based：典型案例—正文页相关推荐
流式
（微博/话题/长微博)
静态
(用户/音乐/图书/电影）
内容分析
分词/分类/核心词
内容质量/anti-spam/热度
排重：拼音编码/文本指纹
候选集索引
在线
运算 微博数据 内容分析 索引查询 相关度计算 CTR排序
词扩展训练
word2vec
离线
分析
词相关度数据

23. 算法实践-预估模型
推荐计算服务
CTR预估/ranking
实时feature
前
端
服
务
数据存储
用户/item/场景
feature
Ctr预估model
用户profile库
feature构造 CTR计算
数据 & 候选集……
ctr*click value 计算排序
Item/场景
用户点击数据
推荐曝光数据
uid 特征提取（分析/查询）
效果评估
候选item预估ctr

24. 算法实践-时序混合
时序混合：多个简单算法/模型的有效融合，强于1个复杂的算法
推
荐
请
求
可信的群体选择
离线协同过滤运算
推荐结果
在线推荐服务
实时曝光
点击日志
基本假设：点击同一个正文页的用户皆为相似用户，通过贝叶斯平
滑选择点击率最好的item推荐即可。
其中， 为用户i的正文页推荐结果历叱点击率
_
1.0
log
( )
n
i average ctr
score
user i
item
view

 


 

_ ( )average ctruser i

25. 算法实践-模型融合
LR
分层模型融合
多层LR，或LR+GBDT
上一层模型的结作为下一层的输入
分片线性模型
分片拟合，分而治之
每个模型应用于其效果最好的条件流量
如用户推荐采用蓝V、橙V、普户3个模型

26. 商业推荐04

28. 推广信息
转发
赞
一次投放
二次引爆
关键节点不核心粉丝
商家代投，增加曝光几率
点评

29. 名人
关键节点
产品代言人企业营销需求
拉近明星、
品牌、用户
的距离
名人影响力
引渡到品牌上
社交资产变现
微博

30. 算法实现
定价：
第一档：购买率>min_threshold：max{price}
第二档：max{P(购买率|用户类型，price1)*price2}
第三挡：max{P(购买率|用户类型，
price1,pric2)*price3)
最大包：全部受众
分包：max{eCPM*(1+P(复购率|eCPM,ROI）}
受众定向
现有粉丝
潜在粉丝：通过投放转化为粉丝
领域关键节点：精准定向，借力关系网络
算法实现
潜在粉丝：max{TTR+RPM}
领域关键节点：
相关性、目标受众数量、转发概率
个性化定价与分包
先定价：客户心理价格学习
后分包：选择合适的ECPM，确定包的投放人数
算法优化目标：max{(实际曝光量+互劢数）/一层曝光量）}

31. THANK YOU!