MapReduce实战——MapReduce中多表合并的案例研究
发布时间
阅读量：
阅读量
MapReduce中多表合并案例
1）需求：
订单数据表t_order：
| id | pid | amount |
|---|---|---|
| 1001 | 01 | 1 |
| 1002 | 02 | 2 |
| 1003 | 03 | 3 |
1001 01 1
1002 02 2
1003 03 3
1004 01 4
1005 02 5
1006 03 6
商品信息表t_product
| pid | pname |
|---|---|
| 01 | 小米 |
| 02 | 华为 |
| 03 | 格力 |
01 小米
02 华为
03 格力
将商品信息表中数据根据商品pid合并到订单数据表中。
最终数据形式：
| id | pname | amount |
|---|---|---|
| 1001 | 小米 | 1 |
| 1004 | 小米 | 4 |
| 1002 | 华为 | 2 |
| 1005 | 华为 | 5 |
| 1003 | 格力 | 3 |
| 1006 | 格力 | 6 |
需求1：Reduce端表合并（数据倾斜）
利用关联条件作为map键，在接收端将符合条件的数据同时携带其所属文件信息发送到同一reduce任务，在reducer中整合这些数据以完成串联操作
还没有任何评论哟~