【问题标题】:Sqoop's import-all-table is not workingSqoop 的 import-all-table 不起作用
【发布时间】:2018-08-11 04:43:05
【问题描述】:

您好,我正在尝试将所有模式中的所有表从 Oracle DB 导入到 HDFS。

这是我的脚本:

sqoop-import-all-tables -Dmapreduce.job.user.classpath.first=true -Dhadoop.security.credential.provider.path=jceks://x.jceks --connect jdbc:oracle:thin:@ x.x.x.x:1521/yyyy --username xxxx --password xxxx --warehouse-dir /data-warehouse/xxxx --as-avrodatafile --compression-codec snappy --autoreset-to-one-mapper

当我运行这个脚本时,没有收到任何错误,也没有任何作业正在启动。

输出:

Warning: /usr/hdp/2.6.2.0-205/accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
find: failed to restore initial working directory: Permission denied
18/08/11 08:32:51 INFO sqoop.Sqoop: Running **Sqoop version: 1.4.6.2.6.2.0-205**
18/08/11 08:32:51 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
18/08/11 08:32:51 INFO oracle.OraOopManagerFactory: Data Connector for Oracle and Hadoop is disabled.
18/08/11 08:32:51 INFO manager.SqlManager: Using default fetchSize of 1000
18/08/11 08:32:53 INFO manager.OracleManager: Time zone has been set to IST

【问题讨论】:

    标签: oracle sqoop hadoop2 hortonworks-data-platform


    【解决方案1】:

    sqoop中配置的用户好像没有足够的权限从Oracle查询和导出数据。请检查从命令行到 Oracle 数据库的连接和查询。

    问候!!!

    【讨论】:

    • 嗨@juamd,我可以使用以下命令导入单个表: sqoop import -Dmapreduce.job.user.classpath.first=true -Dhadoop.security.credential.provider.path=jceks ://x.jceks --connect jdbc:oracle:thin:@x.x.x.x:1521/yyyy --username xxx --password xxxx --table SCHEMA_NAME.TABLE_NAME --delete-target-dir --warehouse-dir /data-仓库/direct1 -m 1 --as-avrodatafile --compression-codec snappy --fields-terminated-by '\001' 所以我认为没有任何权限问题。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-03-06
    • 1970-01-01
    • 1970-01-01
    • 2018-03-10
    • 2013-03-05
    • 2013-05-23
    • 2023-01-21
    相关资源
    最近更新 更多