SQOOP -- 在 SQL Server 中使用 SCHEMA 查询

Question

我正在尝试使用 sqoop 中的--query 选项从 SQL Server 导入数据。我关心的是，我们如何在 SQL Server 中声明与 --query 一起使用的架构。

我的脚本：

sqoop \
--options-file sqoop/aw_mssql.cfg \
--query "select BusinessEntityId, LoginID, cast(OrganizationNode as string) from Employee where \$CONDITIONS" \
--hive-table employees \
--hive-database mssql \
-- --schema=HumanResources

仍然产生错误

无效的对象名称“员工”

也试过了

--connect "jdbc:sqlserver://192.168.1.17;database=AdventureWorks;schema=HumanResources"

但这也失败了。

Answer 1

你可以试试下面的代码：

sqoop import \
--connect jdbc:sqlserver://192.168.1.17;database=AdventureWorks \
--username "Your User" \
--password "Your Password" \
--driver  com.microsoft.sqlserver.jdbc.SQLServerDriver \
--verbose  \
--query "select BusinessEntityId, LoginID, cast(OrganizationNode as string) from HumanResources.Employee where \$CONDITIONS" \
--split-by "EmpID" \ 
--where " EmpID='Employee ID' " \
-m 1  \
--target-dir /user/cloudera/ingest/raw/Employee\
--fields-terminated-by "," \
--hive-import \
--create-hive-table \
--hive-table mssql.employees \

1. hive-import – 将表导入 Hive（使用 Hive 的默认分隔符 如果没有设置。）
2. create-hive-table - 它将创建新的 HIBE 表。 Note:工作 如果 Hive 表已经存在，将会失败。它适用于此 案例。
3. hive-table – 指定 <db_name>.<table_name>。

Answer 2

您使用的 sqoop 命令缺少一些内容。首先，您需要指定这是一个 sqoop 导入作业。除此之外，您的查询需要有一个连接字符串。此外，我不知道您在选项文件中传递了哪些参数，所以如果您发布了详细信息，它会更容易，而且我不确定-- --schema=HumanResources 的事情，因为我没有看到它。一个正确的工作 sqoop 示例查询是：

sqoop import --connect <connection string> --username <username> --password <password> --query <query> --hive-import --target-table <table_name> -m <no_if_mappers

此外，在使用--query 工具时请记住这一点，您无需指定--table 工具，否则会抛出错误。

Answer 3

-schema 可以与-table 一起使用，但不能与-query 一起使用。想想这意味着什么，它需要解析查询的文本并用两部分名称替换每个不合格的表引用，而不是已经是两部分、三部分或四部分名称的表引用。并完全匹配后端（本例中为 SQL Server）的语法规则。这是不可行的。

在查询中明确指定架构：

select BusinessEntityId, LoginID, cast(OrganizationNode as string)
from HumanResources.Employee 
where ...