mapreduce核心思想 MapReduce核心思想图文详解

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

mapreduce核心思想 MapReduce核心思想图文详解

qq_43193797   2021-03-30 我要评论

MapReduce核心编程思想,如图1-1所示。

图1-1 MapReduce核心编程思想

1)分布式的运算程序往往需要分成至少2个阶段。

2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。

3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。

小结:分析WordCount数据流走向深入理解MapReduce核心思想。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们