在 PyFlink 中导入本地包

【问题标题】：import local packages inside PyFlink在 PyFlink 中导入本地包
【发布时间】：2021-11-18 12:45:49
【问题描述】：

我正在尝试在 PyFlink 项目中编写一个本地包。但我只能通过相对路径导入。

喜欢

from .package import func

我可以在导入为env.add_python_file('/path_to_project') 的 PyFlink 项目中的包中使用绝对路径吗？

【问题讨论】：

【解决方案1】：

对于使用来自https://lists.apache.org/list.html?user@flink.apache.org 的绝对路径答案：完整答案here 目录的抽象结构：

flink_app/
    data_service/
        filesystem.py
    validator/
        validator.py
    common/
        constants.py
    main.py <- entry job

提交 PyFlink 作业时，您可以指定 python 文件并使用选项 --pyFiles 和 --pyModule1 进入主模块，例如：

$ ./bin/flink run --pyModule flink_app.main --pyFiles ${WORKSPACE}/flink_app

这样，目录下的所有文件都会被添加到本地客户端和远程python UDF worker的PYTHONPAHT中。

【讨论】：