hive--优化join操作以避免笛卡尔积(1)
发布时间
阅读量:
阅读量
【问题描述】
在应用join操作后,观察到同一条数据记录被多次复制的现象。然而,实际操作中并未使用产生笛卡尔积的join方法,这令人感到困惑???
举例说明:
select a.*
from ht_insurance_temp_3_1 a
join (select distinct
a.id
,a.insurancemonth
,count(*)
from ht_insurance_temp_3_1 a
join ht_insurance_temp_2 b on a.id = b.id and a.city = '南宁'
group by a.id,a.insurance_month
having count(*) != 1) b on a.id = b.id
order by a.id,a.insurance_month desc;
我们的目标是分析重复记录的具体表现(例如,某些id在特定月份存在重复记录,需了解这些id的重复记录详情),然而最终返回的结果显示每条数据均出现了多次重复,而原始数据中并未
全部评论 (0)
还没有任何评论哟~
