整体说明

根据 MapReduce的整体设计 (如下图)，在由map阶段讲数据拆解出来，然后写入到某个文件系统。接下来再由reduce阶段读取相关的文件，生成最终的目标文件。

按照实验要求，需要有一个coordinate和多个worker，利用rpc通信。需要注意的是，如果一个worker没有在合理的时间内完成任务，这任务需要重新分配。

实验的关键规则和提示

规则：

• 在map阶段把中间过程生成的键值对按照ihash函数分配给不同reduce任务

在rpc服务初始化的时候，会有一个reduce task的数量，需要按照那个值取余数。

• 最终的文件输出格式mr-out-x。其中x是reduce taskd的id。
• 只有map类型的任务和reduce类型的任务都完成，才可以结束。

提示：

• 对于map阶段生成的中间文件合理的文件名称格式mr-x-y.其中x是map task的id，y是reduce task的id。
• 使用json encoder讲数据写入到文件，方便后续读取
• 为了确保没有人在崩溃的情况下观察部分写入的文件，MapReduce的文章提到了使用临时文件的技巧，并在文件完全写入后对其进行原子重命名。可以使用ioutil.TempFile创建临时文件，并使用os.Rename对其进行原子重命名。这个规则对自己也是一个很有效的提示，再遇到一些会崩溃的问题的时候，可以考虑先采取临时文件的形式。

Coordinate设计

RPC请求与响应的设计

type Request struct {}

type Reply struct {
	// map or reduce task id
	Idx int 

	// 当worker收到exit任务的时候需要主动退出
	// 0 map, 1 reduce, 2 wait, 3 exit
	TaskType uint8 

	// map task filename
	FileName string

	// reduce task count
	N int 
}

/*
	请求任务的时候直接request, reply。在提交完成任务的时候，这两个参数反过来就ok了。
  请求任务
	call("Coordinator.RequestTask", &Request{},&Reply{})
	提交完成任务
	call("Coordinator.SubmitTask", &Reply{},&Request{})
*/