使用 spark scala 从 bigquery 读取数据答案

【问题标题】：Read data from bigquery with spark scala使用 spark scala 从 bigquery 读取数据
【发布时间】：2019-04-08 18:23:40
【问题描述】：

我正在尝试从bigquery 读取数据并打印出来。这是我尝试过的，

// Initialize Spark session
val spark = SparkSession
  .builder
  .master("local")
  .appName("Word Count")
  .config("fs.gs.project.id", "bigquery-public-data")
  .config("google.cloud.auth.service.account.enable", "true")
  .config("fs.gs.auth.service.account.json.keyfile", "<key_file>")
  .getOrCreate()

val macbeth = spark.sql("SELECT * FROM shakespeare WHERE corpus = 'macbeth'").persist()
macbeth.show(100)

但这给了我如下错误，

Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: shakespeare; line 1 pos 14

Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'shakespeare' not found in database 'default';

我找不到解决此问题的方法。请帮我从这个数据集中读取数据。

【问题讨论】：

标签： scala apache-spark-sql google-bigquery

【解决方案1】：

找不到表格或视图：莎士比亚；第 1 行第 14 行

当 BigQuery 查找表时，它会在 projectId 和数据集下查找它。在您的代码中，我看到两个可能的问题：

projectId - 您正在使用 BigQuery 公共项目作为您的 projectId bigquery-public-data 您需要将此变量的值更改为正确的值
datasetId - 在您的查询中，您没有指明存储 shakespeare 表的数据集

【讨论】：