【发布时间】：2021-02-27 09:04:52
【问题描述】：
我想从 postgres 导入数据到 hive，我输入这个命令：
sqoop import --connect jdbc:postgresql://localhost:5432/ --username postgres --password postgres --table users --hive-import --m 1
但我看到这条失败的消息：
警告：/usr/local/sqoop/../hbase 不存在！ HBase 导入将失败。 请将 $HBASE_HOME 设置为 HBase 安装的根目录。 警告：/usr/local/sqoop/../hcatalog 不存在！ HCatalog 作业将失败。 请将 $HCAT_HOME 设置为 HCatalog 安装的根目录。 警告：/usr/local/sqoop/../accumulo 不存在！ Accumulo 导入将失败。 请将 $ACCUMULO_HOME 设置为 Accumulo 安装的根目录。 警告：/usr/local/sqoop/../zookeeper 不存在！ Accumulo 导入将失败。 请将 $ZOOKEEPER_HOME 设置为 Zookeeper 安装的根目录。 /usr/local/hadoop/libexec/hadoop-functions.sh：第 2366 行：HADOOP_ORG.APACHE.SQOOP.SQOOP_USER：变量名无效 /usr/local/hadoop/libexec/hadoop-functions.sh：第 2461 行：HADOOP_ORG.APACHE.SQOOP.SQOOP_OPTS：变量名无效 2020-11-16 09:12:43,658 INFO sqoop.Sqoop：运行 Sqoop 版本：1.4.7 2020-11-16 09:12:43,711 WARN tool.BaseSqoopTool：在命令行上设置密码是不安全的。考虑改用 -P。 2020-11-16 09:12:43,711 INFO tool.BaseSqoopTool：使用 Hive 特定的分隔符进行输出。您可以覆盖 2020-11-16 09:12:43,711 INFO tool.BaseSqoopTool：使用 --fields-terminated-by 等分隔符。 2020-11-16 09:12:43,779 INFO manager.SqlManager：使用默认的 fetchSize 1000 2020-11-16 09:12:43,780 INFO tool.CodeGenTool：开始代码生成 2020-11-16 09:12:43,981 INFO manager.SqlManager：执行 SQL 语句：SELECT t.* FROM "users" AS t LIMIT 1 2020-11-16 09:12:44,009 信息 orm.CompilationManager：HADOOP_MAPRED_HOME 是 /usr/local/hadoop 注意：/tmp/sqoop-hadoop/compile/1de46ca6c2305faed7095f3728a74afc/users.java 使用或覆盖已弃用的 API。 注意：使用 -Xlint:deprecation 重新编译以获取详细信息。 2020-11-16 09:12:44,665 INFO orm.CompilationManager：编写 jar 文件：/tmp/sqoop-hadoop/compile/1de46ca6c2305faed7095f3728a74afc/users.jar 2020-11-16 09:12:44,747 WARN manager.PostgresqlManager：看起来你是从 postgresql 导入的。 2020-11-16 09:12:44,747 WARN manager.PostgresqlManager：这个传输可以更快！使用 --direct 2020-11-16 09:12:44,747 WARN manager.PostgresqlManager：执行 postgresql 特定快速路径的选项。 2020-11-16 09:12:44,751 INFO mapreduce.ImportJobBase：开始导入用户 2020-11-16 09:12:44,751 INFO Configuration.deprecation: mapred.job.tracker 已弃用。相反，使用 mapreduce.jobtracker.address 2020-11-16 09:12:44,820 INFO Configuration.deprecation：mapred.jar 已弃用。相反，使用 mapreduce.job.jar 2020-11-16 09:12:45,145 INFO Configuration.deprecation: mapred.map.tasks 已弃用。相反，使用 mapreduce.job.maps 2020-11-16 09:12:45,205 INFO client.RMProxy：在 /0.0.0.0:8032 连接到 ResourceManager 2020-11-16 09:12:45,923 INFO mapreduce.JobResourceUploader：禁用路径的纠删码：/tmp/hadoop-yarn/staging/hadoop/.staging/job_1605504371417_0002 2020-11-16 09:12:46,471 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:46,978 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:47,266 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:48,045 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:48,440 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:48,830 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:49,190 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:49,522 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:49,903 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:50,726 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:51,060 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:51,449 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:51,816 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:52,186 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:52,974 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:53,362 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:53,651 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:54,063 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:54,419 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:54,820 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:55,873 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:56,231 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:56,643 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:56,921 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:57,722 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:58,122 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:58,911 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:12:59,690 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:00,045 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:00,435 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:00,890 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:01,202 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:01,569 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:01,937 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:02,327 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:02,617 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:02,973 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:03,350 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:03,717 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:04,540 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:04,917 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:05,203 INFO db.DBInputFormat：使用读取提交的事务隔离 2020-11-16 09:13:06,286 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:06,675 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:07,163 INFO mapreduce.JobSubmitter：拆分数：1 2020-11-16 09:13:07,565 INFO sasl.SaslDataTransferClient：SASL 加密信任检查：localHostTrusted = false，remoteHostTrusted = false 2020-11-16 09:13:07,661 INFO mapreduce.JobSubmitter：提交作业令牌：job_1605504371417_0002 2020-11-16 09:13:07,661 INFO mapreduce.JobSubmitter：使用令牌执行：[] 2020-11-16 09:13:07,858 INFO conf.Configuration: resource-types.xml 未找到 2020-11-16 09:13:07,858 INFO resource.ResourceUtils：找不到“resource-types.xml”。 2020-11-16 09:13:07,926 INFO impl.YarnClientImpl：提交的应用程序 application_1605504371417_0002 2020-11-16 09:13:07,968 INFO mapreduce.Job：跟踪作业的网址：http://alim-VirtualBox:8088/proxy/application_1605504371417_0002/ 2020-11-16 09:13:07,968 INFO mapreduce.Job：正在运行的作业：job_1605504371417_0002 2020-11-16 09:13:12,079 INFO mapreduce.Job：作业 job_1605504371417_0002 在 uber 模式下运行：false 2020-11-16 09:13:12,082 信息 mapreduce.Job：地图 0% 减少 0% 2020-11-16 09:13:16,147 信息 mapreduce.Job：地图 100% 减少 0% 2020-11-16 09:13:19,246 INFO mapreduce.Job：作业 job_1605504371417_0002 成功完成 2020-11-16 09:13:19,306 信息 mapreduce.Job：计数器：33 文件系统计数器 文件：读取的字节数=0 文件：写入的字节数=234905 文件：读取操作数=0 文件：大型读取操作数=0 文件：写操作数=0 HDFS：读取的字节数=87 HDFS：写入的字节数=54 HDFS：读取操作数=6 HDFS：大读取操作数=0 HDFS：写操作数=2 HDFS：读取擦除编码的字节数=0 工作计数器 启动地图任务=1 其他本地地图任务=1 所有地图在占用槽中花费的总时间（ms）=2231 所有reduce在占用槽中花费的总时间（ms）=0 所有map任务花费的总时间（ms）=2231 所有地图任务占用的总 vcore-毫秒=2231 所有地图任务占用的总兆字节毫秒数=2284544 Map-Reduce 框架 映射输入记录=3 映射输出记录=3 输入分割字节=87 溢出记录=0 洗牌失败=0 合并地图输出=0 GC 时间 (ms)=26 花费的 CPU 时间（毫秒）=770 物理内存（字节）快照=215732224 虚拟内存（字节）快照=2561839104 总提交堆使用量（字节）=200802304 峰值图物理内存（字节）=215732224 峰值映射虚拟内存（字节）=2561839104 文件输入格式计数器 字节读取=0 文件输出格式计数器 写入字节数=54 2020-11-16 09:13:19,309 INFO mapreduce.ImportJobBase：在 34.1584 秒内传输 54 个字节（1.5809 字节/秒） 2020-11-16 09:13:19,316 INFO mapreduce.ImportJobBase：检索到 3 条记录。 2020-11-16 09:13:19,316 INFO mapreduce.ImportJobBase：将 Hive/Hcat 导入作业数据发布到表用户的侦听器 2020-11-16 09:13:19,343 INFO manager.SqlManager：执行 SQL 语句：SELECT t.* FROM "users" AS t LIMIT 1 2020-11-16 09:13:19,353 INFO hive.HiveImport：将上传的数据加载到 Hive 2020-11-16 09:13:19,360 INFO conf.HiveConf：找到配置文件文件：/usr/local/hive/conf/hive-site.xml 2020-11-16 09:13:20,274 INFO hive.HiveImport：SLF4J：类路径包含多个 SLF4J 绑定。 2020-11-16 09:13:20,274 INFO hive.HiveImport: SLF4J: 在 [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j 中找到绑定/impl/StaticLoggerBinder.class] 2020-11-16 09:13:20,274 INFO hive.HiveImport：SLF4J：在 [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar 中找到绑定！ /org/slf4j/impl/StaticLoggerBinder.class] 2020-11-16 09:13:20,274 信息 hive.HiveImport：SLF4J：有关说明，请参见 http://www.slf4j.org/codes.html#multiple_bindings。 2020-11-16 09:13:20,277 INFO hive.HiveImport：SLF4J：实际绑定类型为 [org.apache.logging.slf4j.Log4jLoggerFactory] 2020-11-16 09:13:21,685 信息 hive.HiveImport：Hive 会话 ID = c35a4fbf-8b8b-488c-838f-68711d017e49 2020-11-16 09:13:21,726 信息 hive.HiveImport： 2020-11-16 09:13:21,727 INFO hive.HiveImport：使用 jar:file:/usr/local/hive/lib/hive-common-3.1.2.jar 中的配置初始化日志记录！/hive-log4j2.properties 异步： 真的 2020-11-16 09:15:05,415 信息 hive.HiveImport：失败：HiveException java.lang.RuntimeException：无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 2020-11-16 09:15:58,418 ERROR tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 64 在 org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:384) 在 org.apache.sqoop.hive.HiveImport.executeScript（HiveImport.java:337） 在 org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241) 在 org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537) 在 org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628) 在 org.apache.sqoop.Sqoop.run(Sqoop.java:147) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) 在 org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) 在 org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) 在 org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) 在 org.apache.sqoop.Sqoop.main(Sqoop.java:252)出了什么问题，我该如何解决这个故障？？？
【问题讨论】：
标签： postgresql hadoop hive sqoop