如何处理 BigQuery 中的长字符串答案

【问题标题】：How to handle the long string in the BigQuery如何处理 BigQuery 中的长字符串
【发布时间】：2021-06-24 21:52:49
【问题描述】：

我正在尝试对 23 列左右的多列执行连接并将它们放在一列中。这是要求，也是另一个平台摄取数据的方式。你能帮忙处理一下长字符串吗？截至目前，该列没有返回任何值，它是空白的。我也尝试进行数据类型转换，但似乎 google BigQuery 不支持 Clob 对象。

代码在这里：

SELECT 

cast(concat(concat('hem:sha256:',TO_HEX(SHA256(LOWER(Email_Address))),"^", 'Name__Prefix_:', Name__Prefix_,";", 
'Name__First_:', Name__First_,';', 'Name__Middle_:',Name__Middle_,';’,’Name__Last_:',Name__Last_,';','Name__Suffix_:',Name__Suffix_,';', 'Age:',Age,';', 'Phone:',Phone,';', 'Zip_Code:',Zip_Code,';', 'information:',information,';', 'updates:',updates,';', 'Eligibility_and_distribution_information:',Eligibility_and_distribution_information,';', 'Stories_from_people_who_have_been_vaccinated:',Stories_from_people_who_have_been_vaccinated,';', 'Created_By__User_Id_:',Created_By__User_Id_,';', 'Entry_Id:',Entry_Id,';', 'Entry_Date:',Entry_Date,';', 'Source_Url:',Source_Url,';'),
concat('Payment_Date:',Payment_Date,';', 'Payment_Status:',Payment_Status,';', 'Post_Id:',Post_Id,';', 'User_Agent:',User_Agent,';', 'User_IP:',User_IP)) as clob)
FROM `TableName`;

【问题讨论】：

看起来不像 SQL Server - 请更正您的标签。

标签： sql google-bigquery

【解决方案1】：

老实说，我不是 %100 清楚这个问题，但让我试试。 BigQuery 中没有 CLOB 类型，但 string 类型对于大多数情况应该足够了。 （截至今天，最大行大小约为 100mb）

ps;使用带有nullable 字段的concat 函数时要小心，在您的情况下，连续产生null 的任何空值。

如果您有机会在目标平台上更改方法，请考虑使用强类型格式，例如 parquet, avro, json 和 BQ export 作业。

【讨论】：