Kettle 的运行方式

1. 图形: Spoon

Kettle 图形运行方式的三种形式:

1. 本地: 在本地执行
2. 远程: 在远程服务器执行, 需要远程服务执行 Carte.
   2.1 Carte 是内嵌 Jetty 的 http server
   2.2 Carte 执行命令 carte localhost 8080
3. 集群: 在集群上执行, 需要转换里的某个步骤事先设置为集群方式运行.

1.1 本地

默认就是本地执行.

buffer 的大小查看:

1.2 远程

找到 pwd 目录下:

1.2.1 单节点部署

单节点部署只需要在节点服务器上配置 carte-config-master-8080.xml 配置文件即可.

name: 指定为主机名称,修改为 master
hostname: IP 地址
port：端口号
master：标示是否为主节点, Y: 是, N: 否
username: 用户名 [可选]
password: 密码 [可选]

carte-config-master-8080.xml 文件的填写内容:

<slave_config>
  <!-- 
     Document description...
     
     - masters: You can list the slave servers to which this slave has to report back to.
                If this is a master, we will contact the other masters to get a list of all the slaves in the cluster.

     - report_to_masters : send a message to the defined masters to let them know we exist (Y/N)

     - slaveserver : specify the slave server details of this carte instance.
                     IMPORTANT : the username and password specified here are used by the master instances to connect to this slave.

  --> 

  <slaveserver>
    <name>master1</name>
    <hostname>127.0.0.1</hostname>
    <port>8080</port>
    <master>Y</master>
  </slaveserver>


</slave_config>

carte 单节点运行:

carte 127.0.0.1 8080

默认的用户和密码为 cluster
用浏览器访问: http://127.0.0.1:8080/kettle/status/?xml=Y
输入用户和密码

修改密码可以在 pwd 目录下的 kettle.pwd 文件进行修改.
修改时需要用 encr -carte yourpassword 该命令加密.

添加子服务器:

网页中查看状态:

http://127.0.0.1:8080/kettle/status/

http://127.0.0.1:8080/kettle/status/?xml=Y

1.3 集群

Cx1 代表:

• C: class
• 1: 代表集群中有一个服务器

2. 命令行: Pan Kitchen

Pan 命令行: 执行转换
Kitchen 命令行: 执行作业

参数格式有两种:
官方推荐: Windows 系统使用带正斜杠 ("/") 和冒号 (":") 的语法.

 pan.sh -option=value arg1 arg2
 pan.bat /option: value arg1 arg2

新建立一个作业:

cmd 中输入 kitchen, 可以查看参数的含义.

官方文档: https://help.pentaho.com/Documentation/8.2/Products/Data_Integration/Command_Line_Tools

/rep: 指定仓库名称.
/job: 指定作业的文件.

kitchen /rep:ETL_files /job:jobs/first

将 /job:jobs/first 分解成 /job:first /dir:jobs 最好.
/level: 输出的日志标准.
/logfile: 输出的日志路径.

kitchen /rep:ETL_files /job:first /dir:jobs /level:basic /logfile:D:/install/etl/etlwp/ETL_files/log/kitchen/log.txt

/export: 导出文件.

kitchen /rep:ETL_files /job:first /dir:jobs /export:D:/install/etl/etlwp/ETL_files/export/jobs/first/first.zip

解压后:

3. API: Kettle Java API 嵌入到其它应用中

这里先放着, 后期自己做一个, 分享出来.