【问题标题】:Data source on GCP BigQueryGCP BigQuery 上的数据源
【发布时间】:2020-07-28 08:55:14
【问题描述】:

我试图寻找任何可以支持 GCP BigQuery 的现有摄入组件,例如 Driver、Plugin。既然不能支持,请指教如何实现intake.source.base.DataSource的子类化

【问题讨论】:

    标签: intake


    【解决方案1】:

    Pandas 可以使用函数 read_gbq 从 BigQuery 中读取数据。如果您只对一次读取整个结果感兴趣,那么这就是您所需要的。您需要执行类似sql source 的操作,它调用pandas 以在_get_schema 方法中加载数据。

    目前没有用于 dask 的 GBQ 阅读器,因此您无法在内核外或并行中加载,但请参阅 this thread 中的讨论。

    【讨论】:

      猜你喜欢
      • 2022-01-27
      • 2021-05-22
      • 1970-01-01
      • 2021-10-05
      • 2019-07-31
      • 2019-02-17
      • 2020-11-30
      • 1970-01-01
      • 2020-03-11
      相关资源
      最近更新 更多