雪花的 BCP CHAR 值

Question

我正在尝试使用 | 创建 BCP 文件分隔符，然后将其加载到雪花表中。

问题： 在 SQL Server 中有定义为 CHAR(4) 的列并且具有值“sss” 所以当我做 BCP 时，它被填充到 4“sss”的长度并被加载到雪花中 由于我们的报告失败了，因为它们执行了 where column="SSS" 之类的操作，但由于雪花中的尾随空格，没有显示正确的列。

我们不想更改我们的报告。那么，BCP 有没有办法处理这些列的填充或修剪？

请注意，有 24 个表，每个表大约有 130 多列，所以我不能在每个 char 列上放置 Trim 函数

Answer 1

如果您的 BCP 文件保留了尾随空格，那么 Snowflake 也会保留它，只要该字段是 FIELD_OPTIONALLY_ENCLOSED_BY 为“或”。您可能还需要确保您的 TRIM_SPACE 选项在您的格式中正确设置COPY INTO 命令的定义。

如果您的 BCP 文件没有维护空间并且您不知道如何使其工作，您可以在 COPY INTO 命令期间使用 SELECT 中的一些字符串函数强制重新输入空间，或者您可以为您的报表创建一个视图，该视图执行相同的字符串函数集以强制为您的报表工作提供空间。

Answer 2

那么，BCP 有没有办法处理这些列的填充或修剪？

是的，但不是通过某些开关或选项。处理此问题的正确方法是预先设置数据类型。正如您在 cmets 中提到的问题，您创建 BCP 输出的查询应使用 VARCHAR(4) 而不是 CHAR(4)。 BCP 正在为您提供您所要求的。他们避免空格的方法是使用 varchar。

似乎对脚本化查询对象进行相当快速的“查找和替换”可以正常工作，但您最了解自己的情况。

此外，“修剪”不起作用 - 仅供参考。即使该字段的值只是“SSS”（如您的示例）；如果结果/列定义为 CHAR(4)，您将获得 4 个字节的数据和第 4 位的空白，因为您只有 3 个字节的数据。修剪将在查询期间起作用......您得到的填充“”被复制出来。解决此问题的方法是根据需要预先设置数据类型。

除非有人知道雪花的更好方法（我不熟悉它），否则唯一的其他选择是在 SQL 和雪花之间操作文件。替换“|”用“|”...但是... blech。

Answer 3

这是BCP 的一个已知“问题”。 “解决方案”是使用queryout 选项，这意味着您必须在每次导出时包含一个查询。但数据就是这样。

例如：https://social.msdn.microsoft.com/Forums/sqlserver/en-US/88c258fe-d1a6-4f3a-9dac-40388d04e9c7/remove-space-in-columns-on-bcp-out?forum=transactsql

但这确实是雪花问题，因为雪花有自己默认的CHAR语义。
您会在文档 String & Binary Data Types 中收到警告，但这并不能说明全部真相。

在 Oracle（显然是 MSSQL？MySQL？）上执行的以下命令将选择 aaa 行：

CREATE TABLE C AS SELECT CAST('aaa ' AS CHAR(4)) t FROM DUAL;
SELECT * FROM C WHERE t = 'aaa';

但不会在 Snowflake 上，除非您使用 COLLATION 创建列：

CREATE OR REPLACE TABLE C (t CHAR(4) COLLATE 'en_US-rtrim');
INSERT INTO C VALUES('aaa ');
SELECT * FROM C WHERE t = 'aaa';

不幸的是，您不能在创建后ALTER 排序规则，这在COPY INTO <table> 之后会很方便。

PS： Mike Walton 的回答更好，TRIM_SPACE 比COLLATE 干净得多。