【问题标题】:Loading last 3 days incremental data from oracle to hdfs using sqoop使用 sqoop 将最近 3 天的增量数据从 oracle 加载到 hdfs
【发布时间】:2018-07-07 22:30:32
【问题描述】:

如何使用 Sqoop 将最近 3 天的增量数据从 oracle 导入 hdfs。

目前我已经使用 Shell-Script 编写了通用的 sqoop 命令来从多个 oracle 数据库中为多个工厂导入数据。

那么谁能帮我写sqoop命令来导入最近3天的数据。

【问题讨论】:

  • 你能展示一下你到目前为止所做的尝试吗?这个网站非常擅长帮助你改进你所做的事情,而不是很擅长为你做这一切。
  • 欢迎来到 Stack Overflow,StackOverflow 既不是论坛、教程网站也不是网络搜索的替代品。我们可以为certain problems 提供帮助,但首先是put some efforts,包括初级(re)search。阅读stack overflow question checklist
  • 你在 oozie 中尝试过 sqoop 工作吗?您可以相应地安排它们。帮助 - oozie.apache.org/docs/4.3.0/DG_SqoopActionExtension.html
  • 请提供您到目前为止所做的工作?根据您设计 sqoop 作业的方式,我们可以为您提供选项。同时删除 hadoop 流标签。

标签: hadoop hive sqoop hadoop-streaming sqoop2


【解决方案1】:

在您的 SQOOP 作业中,您可以发出 SQL,因此在您的 SQL 语句中,您可以在 Where 子句中添加一个日期函数,假设您从中提取的表有一个日期列。

示例:选择 ,,... from where >= (CURRENT-DATE -3);

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2014-11-25
    • 1970-01-01
    • 2018-05-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-12-25
    相关资源
    最近更新 更多