【问题标题】:how to run google bigquery locally outside gcp or google colab notebooks?如何在 gcp 或 google colab 笔记本之外本地运行 google bigquery?
【发布时间】:2020-03-04 18:53:52
【问题描述】:

我正在尝试在我的电脑上的本地主机上的 jupyter notebook 中运行 google bigquery,但结果证明它不起作用,而它在 gcp 和 google colab notebooks 中的 google vms 中运行良好。

尝试了所有方法,但似乎没有任何效果。

from google.cloud import bigquery

ModuleNotFoundErro Traceback (most recent call last)
<ipython-input-1-1035661e8528> in <module>
----> 1 from google.cloud import bigquery

ModuleNotFoundError: No module named 'google'

【问题讨论】:

  • 很抱歉,这是一个显而易见的问题,但是您安装了 bigquery 库吗? “pip install --upgrade google-cloud-bigquery”? cloud.google.com/bigquery/docs/visualize-jupyter 可能有用。
  • 同意@MicahKornfield,第一步应该遵循guide 并能够从python 脚本运行一个简单的查询。
  • @MicahKornfield 谢谢你这么多兄弟,但现在卡在身份验证部分。请帮忙

标签: google-bigquery jupyter-notebook


【解决方案1】:

您可以从 GCP 之外的环境连接到 BigQuery。 您需要设置两件事:

  1. 您选择的语言的 Bigquery 客户端库。看上面的代码,好像是想用python。您可以通过运行安装 Bigquery python 客户端库

    pip install --upgrade google-cloud-bigquery

  2. 对 BigQuery 的身份验证 -

一个。通过运行以下命令获取您的 GCP 凭据:

gcloud auth application-default login

这应该在“~/.config/gcloud/”位置创建一个凭证 JSON 文件

b.您可以在命令行上设置指向 JSON creds 文件的环境变量

export GOOGLE_APPLICATION_CREDENTIALS="~/.config/gcloud/application_default_credentials.json"

或者,您可以通过添加以下行在您的python程序中设置上述环境变量:

import os 
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] =
 '~/.config/gcloud/application_default_credentials.json'

希望这会有所帮助。

【讨论】:

  • 但我无法验证,请帮忙。你提供的代码说语法错误。我迫切需要这方面的帮助
  • 是的,请提供您正在运行的验证命令和错误。哪个命令抛出语法错误?
  • 第二条命令显示,jupter notebook 中的语法无效,我的电脑上本地安装了一个带有凭据的 json 文件
  • 您是在复制粘贴此命令还是键入它? os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '~/.config/gcloud/application_default_credentials.json' 这是一行。
  • 我输入但收到此消息。“扫描字符串文字时 EOL”。我也怀疑它将如何识别项目的特定凭证 json 文件?
猜你喜欢
  • 2020-10-17
  • 2020-06-19
  • 2019-11-10
  • 2018-12-14
  • 1970-01-01
  • 2019-08-16
  • 2020-09-28
  • 1970-01-01
  • 2019-07-28
相关资源
最近更新 更多