Advertisement

hive--优化join操作以避免笛卡尔积(1)

阅读量:

【问题描述】

在应用join操作后,观察到同一条数据记录被多次复制的现象。然而,实际操作中并未使用产生笛卡尔积的join方法,这令人感到困惑???

举例说明:

复制代码
 select a.*

    
 from ht_insurance_temp_3_1 a
    
 join (select distinct 
    
          a.id
    
          ,a.insurancemonth
    
          ,count(*)
    
    from ht_insurance_temp_3_1 a
    
    join ht_insurance_temp_2 b on a.id = b.id and a.city = '南宁' 
    
    group by a.id,a.insurance_month
    
    having count(*) != 1) b on a.id = b.id 
    
 order by a.id,a.insurance_month desc;
    
    
    
    

我们的目标是分析重复记录的具体表现(例如,某些id在特定月份存在重复记录,需了解这些id的重复记录详情),然而最终返回的结果显示每条数据均出现了多次重复,而原始数据中并未

全部评论 (0)

还没有任何评论哟~