Hadoop-分布式数据平台
•
9 j'aime•5,279 vues
在云计算和大数据大行其道的今天，Hadoop及其相关技术起到了非常重要的作用，是这个时代不容忽视的一个技术平台。事实上，由于其开源、低成本和和前所未有的扩展性，Hadoop正成为新一代的数据处理平台。
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (9)
Similaire à Hadoop-分布式数据平台
Hadoop-分布式数据平台
- 1. Hadoop 第⼀一讲 @ 瑞友科技IT应用研究院池建强 Weibo: @池建强 Twitter: @sagacity
- 4. 解决之道 ‣ 磁盘数据并行读写 ‣ 分布式文件系统，冗余 ‣ MapReduce
- 5. 2004年，Google发表论文，向全世界介绍了MapReduce 2005年初，为了支持Nutch搜索引擎项目，Nutch的开发者基于Google发布的MapReduce 报告，在Nutch上开发了⼀一个可工作的MapReduce应用 2005年中，所有主要的Nutch算法被移植到MapReduce和NDFS(Nutch Distributed File System )环境来运行 2006年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展 2007年，百度开始使用Hadoop做离线处理，目前差不多80%的Hadoop集群用作日志处理 2008年，淘宝开始投入研究基于Hadoop的系统--云梯，并将其用于处理电子商务相关数 据。云梯1的总容量大概为9.3PB，包含了1100台机器，每天处理约18000道作业，扫描 500TB数据 2008年1月，Hadoop成为Apache顶级项目 2008年7月，Hadoop打破1TB数据排序基准测试记录。Yahoo的⼀一个Hadoop集群用209 秒完成1TB数据的排序，比上⼀一年的纪录保持者保持的297秒快了将近90秒 项目演化...
- 7. Google App Engine——Runtime，OpenAPI MapReduce BigTable Chubby GFS
- 8. Hadoop MapReduce HBase/Hive Pig ZooKeeper HDFS Google App Engine——Runtime，OpenAPI MapReduce BigTable Chubby GFS
- 9. 传统关系型数据库 MapReduce 数据大小 GB PB 访问 交互式和批处理 批处理 更新 多次读写 ⼀一次写入多次读取 结构 静态模式 动态模式 完整性 高 低 横向扩展 非线性 线性
- 10. Hadoop生态圈 分布式文件系统和通用I/O的组件与接口（序列化，Java RPC和持久化数 Common 据结构） Avro 支持高效的跨语言RPC和持久数据存储的序列化系统 MapReduce 分布式数据处理模型和执行环境，运行在大型商用机集群 HDFS 分布式文件系统，用于大型商用机集群 数据流语言和运行环境，检索大型数据集，Pig运行在MapReduce和HDFS PIG 的集群上 分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基 Hive 于SQL的查询语言（由运行时引擎翻译成MapReduce作业） 分布式、按列存储的数据库。HBase使用HDFS作为底层存储，同时支持 HBase MapReduce的批量式计算和点查询（随机读取） ZooKeeper 分布式、可用性高的协调服务。提供类似分布式锁的基础服务 Sqoop 在数据库和HDFS之间高效传输数据的工具
- 12. MapReduce
- 13. MapR educ e
- 16. Mapper public class MaxTemperatureMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private static final int MISSING = 9999; //key:行偏移量; value:行文本 public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.toString(); String year = line.substring(15, 19); ...... if (airTemperature != MISSING && quality.matches("[01459]")) { output.collect(new Text(year), new IntWritable(airTemperature)); } } }
- 17. Reducer public class MaxTemperatureReducer extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { int maxValue = Integer.MIN_VALUE; while (values.hasNext()) { maxValue = Math.max(maxValue, values.next().get()); } output.collect(key, new IntWritable(maxValue)); } }
- 18. Combiner map1: (1950, 0) map2: (1950, 30) (1950, 20) (1950, 20) (1950, 10) combine: (1950, [20,30]) conf.setMapperClass(MaxTemperatureMapper.class); //指定合并函数 conf.setCombinerClass(MaxTemperatureReducer.class); conf.setReducerClass(MaxTemperatureReducer.class);
- 19. HDFS
- 23. nodename存储文件的元数据，nodename是放在内存中的， 所以文件存储的节点受限于namenode的内存大小。 显示分布式系统的数据块结构：hadoop fsck / -files -blocks
- 24. 安装部署
- 25. 本地模式 ‣ JDK1.6 ‣ 无需运行守候进程 ‣ 默认配置文件无须修改 ‣ 在etc/hadoop/hadoop-env.sh设置JAVA_HOME ‣ 执行：bin/hadoop version
- 26. Hadoop控制脚本依赖SSH来执行 伪分布模式 对整个集群的操作。 为了支持无缝工作，SSH安装好 ‣ 需要运行守候进程－sbin/startall.sh 后需要允许运行hadoop的用户无 需键入密码登录到集群内的机 ‣ 修改配置文件 器。 创建公钥和私钥对，在集群间 ‣ 配置SSH 共享密钥对。 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys ‣ 格式化HDFS文件系统 ‣ 查看分布式文件：hadoop -fs ls . ‣ NameNode - http://localhost:50070/ ‣ JobTracker - http://localhost:50030/
- 27. 全分布模式 ‣ 在至少两台机器安装hadoop 10.211.55.2－os x 10.211.55.7－linux ‣ 配置SSH： cd ~/.ssh scp authorized_keys 10.211.55.7:/home/chjq/.ssh ‣ 修改配置文件，增加Slave节点 ‣ 格式化全分布式HDFS文件系统 ‣ 查看分布式文件：hadoop -fs ls . ‣ NameNode - http://10.211.55.2:50070/ ‣ JobTracker - http://10.211.55.2:50030/
- 28. MapReduce和HDFS实践
- 30. 如何运行第二章中Java的MaxTemperature例子？ 1、首先把所需数据提交到HDFS中。 cd hadoop-book hadoop fs -put input input 2、建立java项目，把相关例程中的java代码导入项目 包括： MaxTemperature.java MaxTemperatureMapper.java MaxTemperatureReducer.java MaxTemperatureWithCombiner.java NewMaxTemperature.java 引入jar包：hadoop-core-1.0.0.jar 编译通过，把源代码导出jar包，MaxTemperature.jar
- 31. 3、执行命令运行map/reduce任务 以jar包的形式执行任务： hadoop jar MaxTemperature.jar MaxTemperature input/ncdc/sample.txt output MaxTemperature是入口程序 input/ncdc/sample.txt是HDFS上的数据文件 可以采用目录方式处理多个数据，例如： hadoop jar MaxTemperature.jarMaxTemperature input/ncdc/*.txt output hadoop jar MaxTemperature.jarMaxTemperature input/ncdc/* output hadoop会自动遍历目录下的所有文件 output是存放输出结果目录
- 32. 4、查看执行结果 输出数据写入output目录，其中每个reducer都有⼀一个 输出文件，在这个例子中，包含⼀一个reducer，所以只能 找到⼀一个文件，part-00000 hadoop fs -cat output/part-00000
- 33. 欲知后事如何 且听下回分解
- 34. Questions? Follow me 微博：@池建强 | twitter: @sagacity