# MapReduce基础
[TOC]
### 一、关于MapReduce
#### 1.1 为什么要MapReduce
- **单机资源有限：**由于单台计算机的资源有限，计算能力不足以处理海量数据；所以需要多台计算机组成分布式集群来处理海量数据。
- **分布式计算较复杂：**在分布式计算中，计算任务的分发，各个主机之间的协作；程序的启动以及运行过程中的监控、容错、重试等都会变得很复杂。所以引入了MapReduce框架，框架解决了分布式开发中的复杂性，开发人员只需要将大部分工作集中在业务逻辑的开发上，从而极大的提高了工作效率。
#### 1.2 MapReduce的定义
- MapReduce是一个分布式运算程序的编程框架，用于大规模数据集(大于1TB)的并行计算；Map（映射）和reduce（归约）是它的主要思想；它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
### 二、MapReduce的优缺点
#### 2.1 优点：
- **易于编程：**只需要实现一些接口，就可以完成一个分布式程序的编写；跟编写一个串行程序一样；
- **良好的扩展性：**当计算资源不足时，只需要简单的增加机器来扩展它的计算能力；
- **高容错性：**当一个机器挂了之后，会自动把上面的计算任务转移到另一个节点上运行，无需人工干预；
- **海量：**适合PB级海量数据的离线处理。
#### 2.2 缺点：
- **不适合实时计算：**MapReduce由于过程较为复杂，IO次数较多，所以无法做到毫秒或秒级响应；
- **不适合流式计算：**流式计算的输入是动态的，可以不断添加，而MapReduce的输入是静态的；
- **不适合DAG(有向图)计算：**对于多个程序之间有依赖关系，即后一个程序的输入是前一个程序的输出；虽然MapReduce也可以完成，但都是通过磁盘来传递中间数据，造成大量的磁盘IO，性能极低。
### 三、MapReduce的执行阶段
#### 3.1 执行的两个阶段
- **Map阶段：**若干个maptask并发实例，完全并行运行，互不相干。
- **Reduce阶段：**若干个reducetask并发实例，完全并行运行，但是他们的数据依赖于Map阶段的输出。
- **注意：**MapReduce模型只能包含一个map阶段和一个reduce阶段；如果业务逻辑非常复杂，就只能使用多个MapReduce程序，串行运行。
### 四、编写MapReduce程序
- ##### 用户需要编写的三个部分：Mapper、Reducer、Driver(提交MR程序)。
#### 4.1 以WordCount为例：
**1. 编写Mapper**
~~~java
// 注意：hadoop1.0版本中是mapred下包，hadoop2.0是mapreduce下的包
import org.apache.hadoop.mapreduce.Mapper;
// 继承Mapper父类，泛型为输入和输出的
