如何使用 Livy 在 Dataproc 中包含 BigQuery 连接器答案

【问题标题】：How to include BigQuery Connector inside Dataproc using Livy如何使用 Livy 在 Dataproc 中包含 BigQuery 连接器
【发布时间】：2021-07-01 18:41:25
【问题描述】：

我正在尝试使用位于 GCP Dataproc 中的 Livy 运行我的应用程序，但我得到了这个：“Caused by: java.lang.ClassNotFoundException: bigquery.DefaultSource”

我可以在 Dataproc 中运行 hadoop fs -ls gs://xxxx 并且我检查了 Spark 是否指向正确的位置以找到 gcs-connector.jar 并且没关系也是。

我使用初始化将 Livy 包含在 Dataproc 中 (https://github.com/GoogleCloudDataproc/initialization-actions/blob/master/livy/)

如何在 Livy 的类路径中包含 bigquery-connector？请问你能帮帮我吗？谢谢大家！

【问题讨论】：

标签： apache-spark google-cloud-dataproc livy

【解决方案1】：

您的应用似乎依赖于 BigQuery 连接器，而不是 GCS 连接器 (bigquery.DefaultSource)。

默认情况下，GCS 连接器应始终包含在 HADOOP 类路径中，但您必须手动将 BigQuery 连接器 jar 添加到您的应用程序中。

假设这是一个 Spark 应用程序，您可以设置 Spark jar 属性以在运行时从 GCS 拉入 bigquery 连接器 jar：spark.jars='gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar'

【讨论】：