2,MapReduce原理及源码解读

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

2,MapReduce原理及源码解读

平凡的神灯   2020-04-01 我要评论
# MapReduce原理及源码解读 [TOC] ### 一、分片 #### 灵魂拷问:为什么要分片? - **分而治之:**MapReduce(MR)的核心思想就是分而治之;何时分,如何分就要从原理和源码来入手。做为码农大家都知道,不管一个程序多么复杂,在写代码和学习代码之前最重要的就是搞懂输入和输出,而MR的输入其实就是一个目录。而所谓的分而治之其实也是在把大文件分成小文件,然后一个机器处理一个小文件,最后再合并。所以MR的第一步就是对输入的文件进行分片。 #### 1.1 对谁分片 - **对每个文件分片:**分片是对输入目录中的每一个文件进行分片。后面的分片都是针对单个文件分片。 - **源码解读(对谁分片):** ~~~java // 分片的源码位置 package org.apache.hadoop.mapreduce.lib.input; abstract class FileInputFormat.java; // 下面代码所在方法 method getSplits(); // InputStatus表示一个切片类 List

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们