测试积点老人 发表于 2023-3-8 09:37:59

简答说一下hadoop的map-reduce编程模型？

回复可见
**** Hidden Message *****

kallinr 发表于 2023-3-9 09:05:19

不清除出

oliver.tang 发表于 2023-3-9 09:19:40

学习下

litingting0214 发表于 2023-3-9 09:29:30

超出我的知识范围了:D

qqq911 发表于 2023-3-9 10:17:15

首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

  对于输入数据，首先要对其进行输入分片，Hadoop为每个输入分片构建一个map任务，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此，只要合理分片，整个处理过程就能获得很好的负载均衡

bellas 发表于 2023-3-9 10:52:23

首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

  对于输入数据，首先要对其进行输入分片，Hadoop为每个输入分片构建一个map任务，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此，只要合理分片，整个处理过程就能获得很好的负载均衡

jingzizx 发表于 2023-3-9 11:34:55

对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。
页: [1]
查看完整版本: 简答说一下hadoop的map-reduce编程模型？