`
hulianwang2014
  • 浏览: 694768 次
文章分类
社区版块
存档分类
最新评论
  • bcworld: 排版成这样,一点看的欲望都没有了
    jfinal

Kettle(Pentaho DataIntegration) 安装Hadoop-2.2.0插件

 
阅读更多



1安装前的准备工作

1.1Pentaho Data Integration

当前的CE版本Pentaho Data Integration5.0.1,下载地址:

http://www.pentaho.com/download/。你也可以尝试企业版EE,这里不做介绍了。下载完成后,压缩到指定的目录下。

1.2 Hadoop 2.2.0

下载最新稳定版本的Hadoop 2.2.0,下载地址:

https://hadoop.apache.org/releases.html

2安装步骤

2.1配置PID Hadoop插件

进入hadoop-configurations目录下,复制chd42,并重命名为hadoop-2.2.0

并且清空client目录下的jar包。完成后,将Hadoop安装目录下share目录下的所有jar包复制到client目录下,包括hadoop libjar包。清除client同级别的jar中的protobuf-java-2.4.0.jar使用protobuf-java-2.5.0.jar替代。

2.2添加配置

hadoop的安装目录下的配置文件复制到PID的插件hadoop-2.2.0下,hadoop安装路径etc/hadoop/,重要的文件包括:

core-site.xml,hdfd-site.xml,mapred-site.xml,yarn-site.xml,slaves等,到hadoop-2.2.0目录下。

2.3修改PID插件的配置文件

~/data-integration/plugins/pentaho-big-data-plugin目录下,找到plugin.properties文件。修改一行数据:

active.hadoop.configuration=hadoop-2.2.0



3.测试

测试这个配置是否成功,最简单的方法是建立job任务。创建一个job,添加开始按钮和Hadoo copy File组件。

点击浏览HDFS文件按钮,弹出框中配置Hadoop链接配置,点击Connect按钮。如果成功的话,下面的面板中会显示HDFS的树形文件结构。




转载,请写明出处:http://blog.csdn.net/greatelite/article/details/18676005

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics