【发布时间】:2020-07-28 08:55:14
【问题描述】:
我试图寻找任何可以支持 GCP BigQuery 的现有摄入组件,例如 Driver、Plugin。既然不能支持,请指教如何实现intake.source.base.DataSource的子类化
【问题讨论】:
标签: intake
我试图寻找任何可以支持 GCP BigQuery 的现有摄入组件,例如 Driver、Plugin。既然不能支持,请指教如何实现intake.source.base.DataSource的子类化
【问题讨论】:
标签: intake
Pandas 可以使用函数 read_gbq 从 BigQuery 中读取数据。如果您只对一次读取整个结果感兴趣,那么这就是您所需要的。您需要执行类似sql source 的操作,它调用pandas 以在_get_schema 方法中加载数据。
目前没有用于 dask 的 GBQ 阅读器,因此您无法在内核外或并行中加载,但请参阅 this thread 中的讨论。
【讨论】: