使用 sqoop 从 RDBMS 导入所有表答案

【问题标题】：Import the all tables from RDBMS using sqoop使用 sqoop 从 RDBMS 导入所有表
【发布时间】：2017-08-02 16:51:43
【问题描述】：

我正在尝试使用 sqoop 将数据从测试 mysql 数据库导入到 hadoop。但是有些表有主键，有些表没有主键。

$sqoop import-all-tables --connect jdbc:mysql://192.168.0.101/mysql -username test -P --warehouse-dir /home/user_all_tables

17/08/01 22:46:54 错误 tool.ImportAllTablesTool：导入期间出错：找不到表 general_log 的主键。请明确说明使用 --split-by 或使用 '-m 1' 执行顺序导入。

请建议我如何在 sqoop 命令行中使用 split by。

【问题讨论】：

【解决方案1】：

要使import-all-tables 工具有用，必须满足以下条件：

默认选项不适合非主键表，因此它不起作用。在这里，我将建议使用-m 1 选项来严格使用一个映射器进行导入。

Sqoop 命令：

import-all-tables --connect jdbc:mysql://192.168.0.101/mysql -username test \ 
-P --warehouse-dir /home/user_all_tables -m 1

【讨论】：