简答说一下hadoop的map-reduce编程模型？

测试积点老人 · 发表于 2023-3-8 09:37:59

回复可见

游客，如果您要查看本帖隐藏内容请回复

kallinr · 发表于 2023-3-9 09:05:19

不清除出

oliver.tang · 发表于 2023-3-9 09:19:40

学习下

litingting0214 · 发表于 2023-3-9 09:29:30

超出我的知识范围了

qqq911 · 发表于 2023-3-9 10:17:15

首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

对于输入数据，首先要对其进行输入分片，Hadoop为每个输入分片构建一个map任务，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此，只要合理分片，整个处理过程就能获得很好的负载均衡

bellas · 发表于 2023-3-9 10:52:23

首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

对于输入数据，首先要对其进行输入分片，Hadoop为每个输入分片构建一个map任务，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此，只要合理分片，整个处理过程就能获得很好的负载均衡

jingzizx · 发表于 2023-3-9 11:34:55

对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

		自动登录	找回密码
密码			(注-册)加入51Testing

简答说一下hadoop的map-reduce编程模型？

站长推荐 /1