MIT 6.824 Fall 2021 Lab 1: MapReduce

mit 6.824 2021 lab1 mapreduce

lab1 mapreduce

实验：https://pdos.csail.mit.edu/6.824/labs/lab-mr.html

已将源码配置为私有仓库以避免对外展示作业源代码，并需遵守 mit6.824 教师组的规定

实验背景

1. MapReduce论文：https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/mapreduce-osdi04.pdf
2. 开发一个简化的分布式MapReduce演示文稿，并可满足test-mr.sh中的所有测试。

实验测试

1. 单词计数
2. 索引器
3. 并行映射能力
4. 减少并行度
5. 作业数量
6. 提前退出策略
7. 崩溃测试

我在 test-mr.sh 文件中发现一个 wait -n 命令，在 mac 系统下运行时会显示错误信息；于是我将其更改为 wait 命令。

实验过程与结果

mapreduce 论文

首先是深入阅读了mapreduce论文，在几遍后决定编写一个演示文稿；在论文中可以看到，在第3章的6个小节中已经提供了一个简明扼�地阐述这些要点的概述。

然后是这张架构图要了然