数据库表:
    • 表输出
    • 更新,删除,插入/更新
    • 批量加载(mysql,oracle)
    • 数据同步

表输出

mysql数据库配置
Kettle输出步骤(四)
乱码问题需要进行设置下
高级-》添加set names utf8
Kettle输出步骤(四)
选项-》添加参数Kettle输出步骤(四)
characterEncoding utf8
defaultFetchSize 500
useCoursorFetch true
characterSetResults utf8
verifyServerCertificate false

把自定义的数据输出到表里面
Kettle输出步骤(四)
Kettle输出步骤(四)
执行完sql语句数据库就会产生新的表hello ,如果字段需要调整可以勾选指定数据库字段来调整。
还可以进行表分区数据,需要有时间字段,可以按月按天区别。

oracle连接

Kettle输出步骤(四)

插入/更新

把自定义的数据与原有的数据库数据进行比较,有就更新,没有就插入
Kettle输出步骤(四)

数据合并同步

合并记录这里会产生一个新的字段flagfield来区别,其中包括

  1. “identical” – 旧数据和新数据一样

  2. “changed” – 数据发生了变化;

  3. “new” – 新数据中有而旧数据中没有的记录

  4. “deleted” –旧数据中有而新数据中没有的记录
    Kettle输出步骤(四)
    数据同步
    输入表是旧的,输入表2是新的
    目的是让旧的表同步数据
    Kettle输出步骤(四)
    按照标识来对数据库进行操作
    Kettle输出步骤(四)

批量加载

使用流方式加载数据
 Kettle输出步骤(四)
MySQL批量加载需要在Linux环境运行(有命令只能在Linux下运行)
Oracle需要本地有oracle客户端(sqlldr文件,在Oracle安装目录下查找)

相关文章:

  • 2021-12-07
  • 2021-04-14
  • 2021-06-20
  • 2021-09-04
  • 2021-12-30
猜你喜欢
  • 2021-05-22
  • 2021-11-25
  • 2021-10-20
  • 2021-12-27
相关资源
相似解决方案