【问题标题】:Google Dataflow template BigQuery Table Reference ExceptionGoogle Dataflow 模板 BigQuery 表引用异常
【发布时间】:2022-08-02 13:09:33
【问题描述】:

我正在尝试将数据从 PubSub 流式传输到 BigQuery,但在 Dataflow 日志中出现此错误。

来自工作人员的错误消息:java.lang.IllegalArgumentException:表引用不在 [project_id]:[dataset_id].[table_id] 格式:round-legacy-334414:users.user_list

我尝试了以下 BigQuery 输出表位置,但仍然出现上述错误。

round-legacy-334414:users.user_list
[round-legacy-334414]:[users].[user_list]
  • 第一种格式是正确的(没有方括号)。你能确保 project_id、dataset_id 和 table_id 都是正确的吗?另外,您有权写入该表吗?
  • @Cubez project_id、dataset_id 和 table_id 都是正确的。问题是经过许可的。在给予必要的许可后,它起作用了。谢谢
  • 嗨,我面临同样的问题。你给了什么权限?我已经给了服务帐户角色/dataflow.worker 和角色/bigquery.dataEditor

标签: google-cloud-platform google-cloud-dataflow


【解决方案1】:

是的,IAM 权限问题。

我在另一个 Dataflow 作业中遇到了类似的错误,给定了 bigquery 管理员角色并再次尝试,作业成功。

【讨论】:

    猜你喜欢
    • 2019-04-30
    • 1970-01-01
    • 1970-01-01
    • 2018-10-29
    • 1970-01-01
    • 2019-02-15
    • 2018-04-09
    • 2016-11-02
    相关资源
    最近更新 更多