【问题标题】:Google Bigquery first call too slow for the first call when used with python与 python 一起使用时,Google Bigquery 第一次调用太慢了
【发布时间】:2021-01-20 12:04:32
【问题描述】:

显然,使用 python 对 google bigquery 进行的第一次调用所花费的时间是其他尝试的两倍。系统好像进入休眠状态,有什么办法可以避免这种第一次延迟?

【问题讨论】:

  • BQ 没有任何睡眠。第一次通话是较长的 https 握手。

标签: python api google-bigquery


【解决方案1】:

您能否解释一下您对 BQ 的期望,如果您尝试使用 Python 将数据上传到 BQ,那么您可以使用以下代码

import pandas as pd
from pandas.io import gbq
import os
import numpy as np
dept_dt=pd.read_csv('dept_data')
#print(dept_dt)

# Replace with Project Id
project = 'xxxxxxx'

#Replace with service account path
path_service_account = 'yyyyyyyyyyy.json'

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = path_service_account


dept_dt.to_gbq(destination_table='test1.Emp_data1',project_id='xxxxxxxxxx',if_exists='fail')

如果您的要求是从 BQ 表中读取,那么您可以使用 Apache beam 从 BQ 中提取数据。

【讨论】:

    猜你喜欢
    • 2021-06-04
    • 2019-12-04
    • 2012-08-03
    • 2015-07-21
    • 2017-01-19
    • 1970-01-01
    • 2019-02-19
    • 2013-07-08
    • 2021-08-15
    相关资源
    最近更新 更多