【发布时间】:2021-01-20 12:04:32
【问题描述】:
显然,使用 python 对 google bigquery 进行的第一次调用所花费的时间是其他尝试的两倍。系统好像进入休眠状态,有什么办法可以避免这种第一次延迟?
【问题讨论】:
-
BQ 没有任何睡眠。第一次通话是较长的 https 握手。
标签: python api google-bigquery
显然,使用 python 对 google bigquery 进行的第一次调用所花费的时间是其他尝试的两倍。系统好像进入休眠状态,有什么办法可以避免这种第一次延迟?
【问题讨论】:
标签: python api google-bigquery
您能否解释一下您对 BQ 的期望,如果您尝试使用 Python 将数据上传到 BQ,那么您可以使用以下代码
import pandas as pd
from pandas.io import gbq
import os
import numpy as np
dept_dt=pd.read_csv('dept_data')
#print(dept_dt)
# Replace with Project Id
project = 'xxxxxxx'
#Replace with service account path
path_service_account = 'yyyyyyyyyyy.json'
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = path_service_account
dept_dt.to_gbq(destination_table='test1.Emp_data1',project_id='xxxxxxxxxx',if_exists='fail')
如果您的要求是从 BQ 表中读取,那么您可以使用 Apache beam 从 BQ 中提取数据。
【讨论】: