Apache phoenix PySpark 依赖项

【问题标题】：Apache phoenix PySpark dependenciesApache phoenix PySpark 依赖项
【发布时间】：2022-01-18 11:02:28
【问题描述】：

我想使用 spark 连接器从 spark 查询 Phoenix 表。在 Hortonwork 环境中，我曾经做过以下操作

pyspark --jars /usr/hdp/2.6.4.0-91/phoenix/phoenix-spark2.jar,/usr/hdp/2.6.4.0-91/phoenix/phoenix-client.jar,/usr/hdp/2.6.4.0-91/phoenix /phoenix-server.jar

然后运行我的代码。

最近尝试在 Cloudera 7.1.5 上运行相同的东西时，我无法找到 phoenix-spark2.jar 和 phoenix-client 和 phoenix-server。火花连接器文档https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/phoenix-access-data/phoenix-access-data.pdf 也没有指定指南。请指导我应该使用什么罐子。

-阿贾兹

【问题讨论】：

标签： pyspark cloudera-cdh phoenix

【解决方案1】：

我找到了解决方案。根据文档，请遵循以下过程。完成后，启动 pyspark 会话时无需指定其他 jars。

转到 Spark 服务。单击配置选项卡。选择范围 > 网关。选择类别 > 高级。找到 spark-conf/spark-defaults.conf 属性的 Spark 客户端高级配置片段（安全阀）或通过在搜索框中输入其名称来搜索它。添加以下属性以确保所有必需的 Phoenix 和 HBase 平台依赖项在 Spark 执行器和驱动程序的类路径上可用： Phoenix 客户端 JAR：注意以下可能因 CDP 版本而异，请查看 spark phoenix 文档以获取正确的 jar。

spark.executor.extraClassPath=phoenix-client-[VERSION].jar spark.driver.extraClassPath=phoenix-client-[VERSION].jar

输入更改原因，然后单击保存更改以提交更改。当 Cloudera Manager 提示您重新启动时，重新启动角色和服务。

【讨论】：