【问题标题】:Bigquery unable to load data Date value or Time stamp value format wrongBigquery 无法加载数据日期值或时间戳值格式错误
【发布时间】:2017-03-07 14:02:21
【问题描述】:
1.Error while uploading CSV , where Data format is '0000-00-00' &&  timestamp has '0000-00-00 00:00:00' value.
2.The Datatype is DATE, TIMESTAMP as Follows.


我是否缺少任何忽略复选框。试图忽略所有错误,但不是加载所有数据 bigquery 忽略了日期格式行并仅上传了允许的行。enter image description here

尝试使用空值,无法做到,别无选择,将 DATE 替换为“1969-01-01”,将时间戳替换为“1969-01-01 00:00:00”。我能够上传数据。

【问题讨论】:

    标签: google-bigquery bigtable bigdata


    【解决方案1】:

    有效日期的下限是0001-01-01data types page 包含有关各种类型的有效范围的更多信息。一种选择是将值加载为STRING 类型,然后应用SAFE_CAST(string_date_col AS DATE) 等函数将值转换为DATE 类型。例如,

    #standardSQL
    SELECT
      * EXCEPT(string_date_col, string_timestamp_col),
      SAFE_CAST(string_date_col AS DATE) AS date_col,
      SAFE_CAST(string_timestamp_col AS TIMESTAMP) AS timestamp_col 
    FROM MyTableWithStrings;
    

    作为一个独立的例子:

    #standardSQL
    WITH MyTableWithStrings AS (
      SELECT 1 AS x, '0000-00-00' AS string_date_col, '0000-00-00 00:00:00' AS string_timestamp_col UNION ALL
      SELECT 2 AS x, '2017-03-07' AS string_date_col, '2017-03-07 12:34:56' AS string_timestamp_col
    )
    SELECT
      * EXCEPT(string_date_col, string_timestamp_col),
      SAFE_CAST(string_date_col AS DATE) AS date_col,
      SAFE_CAST(string_timestamp_col AS TIMESTAMP) AS timestamp_col 
    FROM MyTableWithStrings;
    

    这会将无效的日期和时间戳字符串替换为 NULL 值。

    【讨论】:

    • 现在我把它设置为 1969-01-01 和 1969-01-01 00:00:00,并且数据已上传,最好对每一行进行类型转换,因为它将近 200 万条记录。请纠正我。
    • 问题我在创建表时无法加载数据本身。我已经更新了关于 DATE 和 TIMESTAMP 的空值的问题
    【解决方案2】:

    Load API 没有足够的控件来控制无效 DATE/TIMESTAMP 值的行为 - 您可以在此处向 BigQuery 问题跟踪器提交功能请求:https://issuetracker.google.com/issues?q=componentid:187149。 同时,解决方法是使用 https://cloud.google.com/bigquery/external-data-sources#table_definitions_based_on_csv_source_files 中所述的基于 CSV 的联合查询,并使用 Elliott 的答案中所述的 SAFE_CAST 函数。

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-08-26
    • 2018-05-22
    • 1970-01-01
    • 2022-01-24
    • 2018-07-07
    相关资源
    最近更新 更多