【发布时间】:2017-02-22 00:02:07
【问题描述】:
我有 Sqoop 版本:1.4.6
将数据从 Teradata 导入 Hive 时,我发现 DECIMAL 类型被转换为 DOUBLE。
我想知道为什么 Hive 具有完全等效的数据类型。
【问题讨论】:
标签: hadoop hive teradata sqoop
我有 Sqoop 版本:1.4.6
将数据从 Teradata 导入 Hive 时,我发现 DECIMAL 类型被转换为 DOUBLE。
我想知道为什么 Hive 具有完全等效的数据类型。
【问题讨论】:
标签: hadoop hive teradata sqoop
这是因为他们为所有 RDBMS 通用地编写了它。
DECIMAL 与 DOUBLE 映射。
source code 的有用部分:
public static String toHiveType(int sqlType) {
switch (sqlType) {
case Types.INTEGER:
case Types.SMALLINT:
return "INT";
case Types.VARCHAR:
case Types.CHAR:
case Types.LONGVARCHAR:
case Types.NVARCHAR:
case Types.NCHAR:
case Types.LONGNVARCHAR:
case Types.DATE:
case Types.TIME:
case Types.TIMESTAMP:
case Types.CLOB:
return "STRING";
case Types.NUMERIC:
case Types.DECIMAL:
case Types.FLOAT:
case Types.DOUBLE:
case Types.REAL:
return "DOUBLE";
case Types.BIT:
case Types.BOOLEAN:
return "BOOLEAN";
case Types.TINYINT:
return "TINYINT";
case Types.BIGINT:
return "BIGINT";
default:
// TODO(aaron): Support BINARY, VARBINARY, LONGVARBINARY, DISTINCT,
// BLOB, ARRAY, STRUCT, REF, JAVA_OBJECT.
return null;
}
}
他们还针对 DATE、TIME、TIMESTAMP、DECIMAL、NUMERIC SQL 数据类型的这种映射发出警告。
if (HiveTypes.isHiveTypeImprovised(colType)) {
LOG.warn(
"Column " + col + " had to be cast to a less precise type in Hive");
}
查看source code了解详情。
【讨论】:
map-column-hive 标签