51Testing软件测试论坛

标题: 简答说一下hadoop的map-reduce编程模型？ [打印本页]

作者: 测试积点老人 时间: 2023-3-8 09:37
标题: 简答说一下hadoop的map-reduce编程模型？
回复可见

作者: kallinr 时间: 2023-3-9 09:05
不清除出

作者: oliver.tang 时间: 2023-3-9 09:19
学习下

作者: litingting0214 时间: 2023-3-9 09:29
超出我的知识范围了

作者: qqq911 时间: 2023-3-9 10:17
首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

对于输入数据，首先要对其进行输入分片，Hadoop为每个输入分片构建一个map任务，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此，只要合理分片，整个处理过程就能获得很好的负载均衡

作者: bellas 时间: 2023-3-9 10:52
首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

对于输入数据，首先要对其进行输入分片，Hadoop为每个输入分片构建一个map任务，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此，只要合理分片，整个处理过程就能获得很好的负载均衡

作者: jingzizx 时间: 2023-3-9 11:34
对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)