我正在尝试将 GCP（Google Big Query）与 Spark（使用 pyspark）连接，而不使用 Dataproc（内部自托管 Spark），如 google 官方文档中所列，它仅适用于 Dataproc https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example？有什么建议吗？注意：我在 Docker 上的 Spark 和 Hadoop 设置。谢谢
【问题讨论】：
标签： python apache-spark google-cloud-platform pyspark google-bigquery
请查看project page on GitHub - 它详细说明了如何从代码中引用 GCP 凭据。
简而言之，你应该运行
spark.read.format("bigquery").option("credentialsFile", "</path/to/key/file>").option("table", "<table>").load()
如果需要，请参考here 了解如何创建 json 凭证文件。
【讨论】：
BigQuery 连接器在 jar 文件中作为 spark-bigquery-connector 提供，它是公开可用的。然后你可以：
--jars 选项。关于这一点，还有其他一些可能会影响您的应用的可能性，要了解更多信息，请查看Add jars to a Spark Job - spark-submit
将 jar 添加到类路径后，您可以检查 two bigquery connector examples，其中一个已由 @David Rabinowitz 提供
【讨论】：