Bigquery 中的 WRITE_TRUNCATE

Question

我正在尝试使用 write_truncate 截断 Bigquery 中的表，但它没有发生，而是像 write_append 一样工作。它正在附加数据但不截断表格。

有人可以帮忙解决这个问题吗？

我的代码：

        with beam.Pipeline(options=Pipeline options()) as p:
           read=(p|"Read BQ">>beam.io.Read(beam.io.BigQuerySource(
    query='select empid from'\'`PRoject_Id.data_set.emp_details`',
use_standard_sql=True))|"process">>beam.Map(lambda ele:{'EMPID':ele['EMPID']})|
        "Write">>beam.io.WriteToBigQuery(
    'PROJECT_ID:data_set.emp_out',
    schema='EMPID:STRING',
    write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE,
create_dispositiom=beam.io.BigQueryDisposition.CREATE_IF_NEDED))
        if __name__="__main__":
          run().wait_until_finish()

Answer 1

在流式管道的情况下，不支持 WRITE_TRUNCATE，如文档 here 所述。

For streaming pipelines WriteTruncate can not be used.

您可以将管道转换为 Batch 并使用 WRITE_TRUNCATE 选项。要将写入转换为批处理，您可以将method 参数设置为FILE_LOADS。默认此参数设置为STREAMING_INSERTS。