#《Hadoop权威指南》——Hadoop简介

发布时间：2020-12-17 01:24:23 所属栏目：Python 来源：网络整理

导读：p style="text-align:left;" p style="font-size:13.3333339691162px;"span style="font-family:'Microsoft YaHei';" h3 style="font-family:Verdana,Arial,Tahoma;line-height:25px;" span style="font-family:'Microsoft YaHei';"span style="color:#ff000

<h3 style="font-family:Verdana,Arial,Tahoma;line-height:25px;">
Hadoop简介（记）

是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

<a href="http://www.aboutyun.com/thread-6843-1-1.html" rel="nofollow">虚拟机配置伪分布式 hadoop环境配置

----------------------------------------------------------一些概念----------------------------------------------------------------

Hadoop定制：

。

Spark：开源的类Hadoop MapReduce的通用并行框架。

map函数是一个数据准备阶段：映射+筛选

reduce函数是一个数据处理过程：求出结果

（1）数据分片。最佳分片大小应与块相同

（2）map过程。即数据本地优化。输出写入本地硬盘，而不是HDFS，因为只是中间结果。如果传送失败只需再次运行

（3）合并及求解过程。map输出结果传送带reduce任务节点进行合并，结果写入HDFS。

def mapper():

with open("F:/hadoop/data/1901","r") as fd:

rawlist = fd.readlines()

maplist = []

for line in rawlist:

val = line.strip()# 预处理

(year,temp,q) = (val[15:19],val[87:92],val[92:93])      # 分离

if (temp != "+9999" and re.match("[01459]",q)):

maplist.append((year,temp))

print "%st%s" % (year,temp)

return maplist

def reducer(inputlist):

(last_key,max_val) = (None,-sys.maxint)

for line in inputlist:

(key,val) = line

if last_key and last_key != key:

print "%st%s" % (last_key,max_val)

(last_key,max_val) = (key,int(val))

else:

(last_key,max(max_val,int(val)))

if last_key:

print "%st%s" % (last_key,max_val)

reducer(mapper())

文件会读取mapper.py的结果作为reducer.py 的输入，并统计每个单词出现的总的次数，把最终的结果输出到HDFS

4.在Hadoop上运行python代码

4.1 数据准备
下载以下三个文件的
Plain Text UTF-8
Plain Text UTF-8
Plain Text UTF-8
把上面三个文件放到hadoop-0.20.2/test/datas/目录下
4.2 运行
把本地的数据文件拷贝到分布式文件系统HDFS中。
bin/hadoop dfs -copyFromLocal /test/datas ?hdfs_in
查看
bin/hadoop dfs -ls
结果
1
drwxr-xr-x ? - rte supergroup ? ? ? ? ?0 2014-07-05 15:40 /user/rte/hdfs_in
查看具体的文件
bin/hadoop dfs -ls /user/rte/hdfs_in
执行MapReduce job
bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar
-file test/code/mapper.py ? ? -mapper test/code/mapper.py
-file test/code/reducer.py ? ?-reducer test/code/reducer.py
-input /user/rte/hdfs_in/* ? ?-output /user/rte/hdfs_out
实例输出
查看输出结果是否在目标目录/user/rte/hdfs_out
bin/hadoop dfs -ls /user/rte/hdfs_out
查看结果
bin/hadoop dfs -cat /user/rte/hdfs_out2/part-00000

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!