242258115 big-data及互联网行为分析方案培训-pdf

1. BI BIG DATA

2. 电信运营商定位于“智能管道” 在移动互联网的大势所趋下，如何摆脱沦为单纯的“数据传送管道”角色，如何依靠基础网络挖掘更多的价值，是摆在所有网络运营商面前的一道难题。要扭转这一局面，网络运营商必须转变过去简单粗放型的网络经营方式。近年来，全球主要电信业领袖和专家都呼吁，运营商构建“智能管道”已刻不容缓。既然智能管道是必不可少的，那么智能管道是什么样的？简单来说，智能管道就是要做到用户可识别、业务可区分、流量可调控、网络可管理，而且能够承载丰富的应用。因此，我们需要将现有的互联网访问数据、增值业务使用信息加以整合，充分发挥数据价值，通过对数据的理解整体把握自有产品、业务发展情况，并掌握用户差异化的使用行为习惯。用于指导产品创新、营销维系活动等方面。

3. BIG DATA Gartner 定义: Big Data 是指由于数据量巨大，已经不能被现有软件系统在可以容数据结构的多样化，不仅包含关系型数据而且包含日志，原始文本等半结构化和非结构化数据流数据和大容量数据的移动 TB级扩增到ZB级忍的时限内，及时获取、管理、处理的数据集 Variety: Velocity: Volume:

4. 在原有oracle数据库外，需新增分析型数据库与非关系型数据库分析型数据库通用型数据库非关系型数据库

6. BIG DATA── DWaatraebhaosue se AtA-Rneaslyt tDicasta DaDtaat Oa pAenraaltyiotincss, Model Building Traditional / Relational Data Sources Non-Traditional / Non-Relational Data Sources Non-Traditional/ Non-Relational Data Sources Traditional/Relational Data Sources Internet Scale !#$ %! '()*+,-! .3/40516270 )5869;:%= 12?56 传存库的储无统和数法要处据满求仓理足 BCilRliMng Lo1c0a0t0io0n NetwoCrDk RDsevices BloIngt开se, re始n-eM关ta注il互据站联内和网互容日志数联据数网宽网更络要高带求处度更理要快求速存量更储要高容求

7. !#$%'()*-- ---数据视图原文：有条件省份，要求在2012年完成移动互联网数据的整合，同时启动宽带上网数据整合，2013年完成宽带数据整合。无条件的省要保证2012年完成移动互联网数据的整合。

8. !#$%'()*--$%,-). 4.1 数据接口20 4.1.1 增值业务数据20 4.1.1.1 天翼视讯20 4.1.1.2 天翼阅读22 4.1.1.3 天翼空间24 4.1.1.4 爱音乐25 4.1.1.5 爱游戏27 4.1.1.6 爱动漫29 4.1.1.7 ＶＳＯＰ 31 4.1.1.8 爱优惠32 4.1.1.9 天翼导航33 4.1.1.10 168声讯34 4.1.2 互联网行为数据35 4.1.2.1 宽带上网36 4.1.2.2 手机上网36 4.1.2.3 互联星空37 4.1.2.4 ＩＴＶ 38 4.1.2.5 网上营业厅40 4.1.2.6 网址和分类数据42 4.1. 4.1.3 手机终端数据44 4.1.3.1 终端自注册平台44 4.1.4 号百业务数据47 4.1.4.1 114平台47 4.1.5 行业应用数据48 4.1.5.1 协同通讯48 4.1.5.2 翼机通50 4.1.6 移动位置数据52 4.1.6.1 核心网网管52 4.1.6.2 无线网管52

9. !#$%'()*--/012

10. 承载Big Data的EDA系统新数据架构 E D A 业务网管ODS 明细数据 EDW基础数据层 (小型机) 计费、CRM等BSS, OSS系统 EDW基础数据层 (oracle或一体机) 数据服务总线门户平台元数据数据质量决策分析专题分析客户洞察系统增值业务及互联网分析自助分析平台全业务详单查询库客户洞察集市 (OraPc)le/G 计费互据联(h网ad行o为op数) 直决策视窗一线看数增值业务及互联网数据集市指标层固定报表专题分析聚焦财务集团上传临时统计 (小型机) (小型机) 手机门户

11. 34 !#56789:; EDA

12. !#567812 =12 !#5678?@ABCDE

13. 1-

14. “ ” !# $%'()*+,-

15. %./012345678

16. 59:;=?@+ABCD !E3FGHIJKLMNOPQ,-$ R?ST,-UVWXYZ'$[]^_`ab%'cd,-=e)

17. f$ ghijk ^_lm nope) cqrst

19. 2- uvwxJKyz E{|}~€‚ƒ] „…†‡W^=ˆ‰Šm‹Œ ŽŒ ^= ‰_Cw‘ „…†’_“”•–—˜™Wš›œ$Ež_ ^= cqŸ …¡{¢=œtb£_¤¥¦§ E¨©96^= ª«œ˜¬ Ecq “®N”%=¯° cq±²^=³´^=wµt ¶·^=„…¸N cd¹™º»¼

20. _^= e)+A½¾ Œ¿ _“ÀÁ“ÂT ¿c q½¾ŒÃÄe)¿ cqÅ´ÆÇIÅ´ÈÉ Ê…¡°$ e) ËÌÍÎÏÐÑÒÓ ^_ 23 iÔ{ª ,_“ÀÁÂT $ e)¹™ ½¾ŒÊ c qÖ×{=¶ØÊ…¡°¿ !c“ÎÐ”+AÙÚf¼ ÛÉŸÜˆ‰ÝÞ¼cd¹™ „…º» ßà±²áˆ tœ†â$ 23Jã^=äåœæ |}œIœª¿ cqtcq†=*+L M¶Ø°Ê¿ cq^=³´^=wµt ç:?@B¬w‘ _ ^={ˆ‰†cq%=¯ °$

21. 3- ! !#$%'()*+, -./012345*6789:;. !=? @AB./01CD 监测高流量区域为网络维护部门提供扩容决策支撑非法站点监控业务热点评估业务关注度分析支撑运营监管部门保证网络健康运营决策支撑

22. #$:1.,)*URL.2.0Int 456789: ; 3. ?@AB6CDE.4.)*GH DIJK78BLCMDE.5.OPQ RBSCMDEKTUVWX #$%# - 14 URL

24. Internet

25. 1 3 2 4 1 2 3 4 5 5 5 $Y1.Z[:]URLK^_ 4.2. 0 4`@abBLcdbCM#K eBfg.3.hGH 9/jkZ[GHD IJ.4.^_GHlm 9

26. 34 !#56789:; !#5678=12 !#5678?@ABCDE

28. BIG DATA── DWaatraebhaosue se AtA-Rneaslyt tDicasta DaDtaat Oa pAenraaltyiotincss, Model Building Traditional / Relational Data Sources Non-Traditional / Non-Relational Data Sources Non-Traditional/ Non-Relational Data Sources Traditional/Relational Data Sources Internet Scale !#$ %! '()*+,-! .3/40516270 )5869;:%= 12?56 传存库的储无统和数法要处据满求仓理足 BCilRliMng Lo1c0a0t0io0n NetwoCrDk RDsevices BloIngt开se, re始n-eM关ta注il互据站联内和网互容日志数联据数网宽网更络要高带求处度更理要快求速存量更储要高容求

29. FGHI 网络带宽要求更高处理速度要求更快存储容量要求更高传统以太网千兆升级到万兆传统以太网升级到Infiniband，单端口带宽最大可达到20Gbps 采用集群计算并优化每点计算算法和效率采用Hadoop分布容量可扩展到ZB 序号312项文用目件户处数采理量集（时3限0（（0022万分）钟））性能指标30000110220000 级4567所文每采件天集入存日需储库志要网时空量（络间限3（（带T宽5）全分备钟份）保存30天） 3*214022.48*1M135B000/20Ts4 式文件系统

30. Big Data =NOPP7QRSTUVW XT MapReduce HIVE HBASE `abcdefg MapReduce lm VWNOPQ B]^_YZ[ VWNOPQ BXYZ[ Hadoop NOPQ RHDFSU • • !#$%'()* • +,$-./012

31. '()*--+,-./0 3456789:;= ! hadoop ! ODS ? 5@ABCDEHeritrixL 5@AB M9N0O? 5PQ RSTU*VW EXYZ[#U*RS$]^_`aZ[# 5PRb

32. Hadoop 7QRSTVW]HDFS` RcdUefgY? • • !#$%'()* • +,$-./012

33. ab7QRSTV$%c]HIVE` HIVEY? • jkl]^HDFSUe$opqrst • juvEwx yzuvst • {|}Rcd:;~$uv:;€‚ 2011/12/27 16:35:11 [debug] 243385#0: *11 LatnId=551 2011/12/27 16:35:11 [debug] 243385#0: *11 avscFileName=3504.avsc 2011/12/27 16:35:11 [debug] 243385#0: *11 svcName:DPRINT will be called. 2011/12/27 16:35:11 [debug] 243385#0: *11 BeginWrite:ret=1 2011/12/27 16:35:11 [debug] 243385#0: *11 sim tpcall success! --------------------------- --------- ------------------- -------------------------- log_time, log_level, thread_info, log_detail tuvwxyz{BPQ-|}z{B~- y€|}‚ƒX) „…†‡YZ[ˆ‰„…Š Select log_time, log_detail from log_table where log_level=‘error’

34. ab7QRSTfg2h$%c]HBASE` HBASEY? • ]^„…†1d$‡ˆ… †‰Š • ‹Œ…U*Ž5P3 45Q

35. ! news. sina.c om ,- . 24/0123456789 [;.=?@ABCD EFGHI@JK] MNOPQR7TUVWX YCZ[] . ^_`ab cdefghi jg

37. 3(ij5kl MapReduce = MapRecude«¬M¥‘®¯°R±:²³8 ¡M´®K µ¶Master±:·«R±:Mlm¦”¤a¸¹¥‘lmº Y‘’R“”)[ •–5000—˜K12™“Kšh10›œžKhšŸ ¡¢ŸdK1.2£¤a¥‘lm (201110, 40.27 ) (201110, 149 ) (201110, 25.15 ) (201110, 138.05) (201111, 197.5 ) (201111, 128.25) (201111, 302.74) (201111, 156.45) (201112, 277.39) (201112, 129 ) (201112, 156.17) (201112, 130 ) (201110, 40.27, 149, 25.15, 138.05) (201111, 197.5, 128.25, 302.74, 156.45) (201112, 277.39, 129, 156.17, 130) Map Reduce (201110, 352.47) (201111, 784.94) (201112, 692.56) DataNode#$% ¦*§¨DataNodeMlm ... '(DataNode

38. 34 !#56789:; !#567812 =12 !#5678?@BCDE

39. 123456789:;#ETL2@ABC »¼½¾ ¿ÀÁÂURL. ¿ÃÄ6ÅÆ ÇÈÉ¶› APIËURL ÌÍURL ÎÏaHADOOPÒ

40. QB×Ö DÓURLWÖ DÓÔÕ

41. rstucPP!#URL7xc/z{|}7xc/~t€c

42. URL

43. DD -#=.$!/ 0 %?1!!/ %2'@3$!/( )K*5$A!(B+, C67:/; 8D9::;;

44. ENTFOU GPVHQU WIRXJSU K%LYMZ [[[ Rba]'!^ _c'd [+[e[ [[[ !$(%(#( '((bh(%(ipftjqgukr bl*mpvns!g*o nw[(x[fy[z (((((( {|gf} 20111018102340-723938881 s26hi02tdt11p=.11:3/47/_9w599b.e10ci95b63 o5|. 1.e2c9fn07 /1|8d 186p102o0 f|7o1 wc8l/91etat0ibt32/o1h3.5o4c0nm0 8| |e|4 2 .1e0p861h9a1pax1?x80ux21ixd08x=41x3x109x22 182| a5528094-b6f927f00d4g c1hbd50tb=t61cp3415_:/5465/ 4bw|| 5c21e 604|i b500eo 2|f. 17ct en8|x /6Bdt2/Rpfv7EonWcod9l.-/awt3ta1tp/5m.w08smg4l.ep|6 hwapaa?8pu2)id0*4=319|2 158a552089 4|b 61f99278f002d34 g|b sbi zAhpcpnl)eutc/0wxe2b0-0s6q8u8id8 8| (3B R| WEWA/P32.1.0.5 |. 2G0E;TD e| vCiTceWIdA:P180027;Lang: 27 /)e04.*15++2,,3~~~00D0%‚/%T ~~‰~00Š0€ƒ‹€D„ …ŽŒ‘†’‡f„“ˆ} ›”IDt•v‘A’’’B“““Lœ ”–A•6B’’š““+ —K˜™ 678901’“ žŸ. ’“ ¡K¢£’“ 67’“ AB¤’“ +

45. QA

242258115 big-data及互联网行为分析方案培训-pdf

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

242258115 big-data及互联网行为分析方案培训-pdf