k kettle>k with hadoop integration

文章目录

• Kettle与大数据系统集成
  • • Kettle与Hadoop平台的融合
    • Kettle在Hadoop运行环境中的配置
    • • Hadoop文件输入模块
      • Hadoop文件输出模块

Kettle与大数据平台集成

Kettle与Hadoop系统集成

1、查阅Hadoop的文件系统

• 利用浏览器进入 http://node1:50070
• 采用终端方式进行访问

    hadoop fs -ls / # 查看文件
    
    
      
    

2、于Hadoop文件系统内建立路径为/hadoop/test的文件夹

    hadoop fs -mkdir -p /hadoop/test  
    
    
      
    

3、在本地生成1.txt文件

• 使用vim编辑器打开1.txt

    id,name
    1,itheima
    2,itcast
    
    
      
      
      
    

4、将1.txt文件传输至Hadoop文件系统中的/hadoop/test路径下

    hadoop fs -put 1.txt