Advertisement

利用DataGrip平台进行数据分析并导入到MySQL

阅读量:

所有内容均为代码形式,其中的cv部分需要替换为你们自身的实现。在涉及具体业务逻辑的部分,由于中间可能存在删减或修改,因此部分内容可能存在一定的问题,需要自行检查并调整。

复制代码
 spark操作:

    
 drop table test.base_tb;
    
 CREATE TABLE IF NOT EXISTS test.base_tb(
    
     pk_id BIGINT COMMENT '自增id',
    
 	datatime STRING COMMENT '数据日期'
    
     .....
    
 	)
    
 row format delimited fields terminated by '\t';
    
 LOAD DATA INPATH '/hdfs/xlsx2hdfs/hdfs文件' INTO TABLE test.base_tb;
    
  
    
  
    
 select * from test.base_tb limit 1;
    
  
    
 //spark做计算查询 /查询的数据创建一个临时视图
    
 select name,idcord,province,city,idcord_loc,mar_status,home_address from test.base_tb;

全部评论 (0)

还没有任何评论哟~