在 python 中安装 delta 模块的正确方法是什么？

Question

在python中安装delta模块的正确方法是什么？？

在example 他们导入模块

from delta.tables import *

但我没有找到在我的虚拟环境中安装模块的正确方法

目前我正在使用这个 spark 参数 -

"spark.jars.packages": "io.delta:delta-core_2.11:0.5.0"

Answer 1

由于正确答案隐藏在已接受解决方案的 cmets 中，我想我会在此处添加它。

您需要使用一些额外的设置来创建您的 spark 上下文，然后您可以导入 delta：

spark_session = SparkSession.builder \
    .master("local") \
    .config("spark.jars.packages", "io.delta:delta-core_2.12:0.8.0") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

from delta.tables import *

令人讨厌的是，您的 IDE 当然会因为未安装软件包而对您大喊大叫，而且您还将在没有自动完成和输入提示的情况下进行操作。我确信有一个解决方法，如果我遇到它，我会更新。

软件包本身在他们的 github here 上，自述文件建议您可以 pip install 但这不起作用。理论上你可以克隆它并手动安装。

Answer 2

由于 Delta 的 Python 代码存储在 jar 中并由 Spark 加载，所以在创建 SparkSession/SparkContext 之前无法导入 delta 模块。

Answer 3

要使用PySpark在本地运行Delta，需要关注官方documentation。

这对我有用，但仅在直接执行脚本 (python ) 时有效，而不是使用 pytest 或 unittest。

要解决这个问题，需要添加这个环境变量：

PYSPARK_SUBMIT_ARGS='--packages io.delta:delta-core_2.12:1.0.0 pyspark-shell'

使用符合您情况的 Scala 和 Delta 版本。有了这个环境变量，我可以通过 cli 运行 pytest 或 unittest 没有任何问题

from unittest import TestCase

from delta import configure_spark_with_delta_pip
from pyspark.sql import SparkSession


class TestClass(TestCase):
    
    builder = SparkSession.builder.appName("MyApp") \
        .master("local[*]")
        .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
        .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    
    spark = configure_spark_with_delta_pip(builder).getOrCreate()

    def test_create_delta_table(self):
            self.spark.sql("""CREATE IF NOT EXISTS TABLE <tableName> (
                              <field1> <type1>)
                              USING DELTA""")

函数 configure_spark_with_delta_pip 在构建器对象中附加一个配置选项

.config("io.delta:delta-core_<scala_version>:<delta_version>")

Answer 4

就我而言，问题是我的集群在低于 6.1 的 Databricks Runtime 上运行

https://docs.databricks.com/delta/delta-update.html

Python API 在 Databricks Runtime 6.1 及更高版本中可用。

将 Databricks Runtime 更改为 6.4 后问题消失了。

为此：单击集群 -> 选择您正在使用的集群 -> 编辑 -> 选择 Databricks Runtime 6.1 及更高版本