【问题标题】:Unable to communicate between master node and the worker node in flink applicationflink应用中master节点和worker节点无法通信
【发布时间】:2018-08-07 21:48:25
【问题描述】:

我正在尝试在多节点集群上运行 flink 应用程序。我发现从节点找不到 /root/miniconda2/bin/python2.7: can't open file '/root/ranjan/logs/flink-dist-cache-3fc26a73-882a-43eb-bbe9- 5984fa0da7ef/d77a4641591fb1d3243e438cde97e746/logs/plan.py。如何设置共享 NFS 系统以从从节点中的主节点访问文件?谢谢

【问题讨论】:

    标签: apache-flink


    【解决方案1】:

    配置flink只需要在“flink-conf.yaml”中设置“python.dc.tmp.dir”指向分布式文件系统Unable to run a python flink application on cluster

    请参考您的 Linux 发行版手册,了解如何设置 NFS。 Arch Linux 的文档通常非常适合内部使用,并且可以手动进行:https://wiki.archlinux.org/index.php/NFS

    【讨论】:

    • 我已经设置了 NFS 文件系统,但错误仍然存​​在。 hdfs文件系统是必须的吗?
    • “flink-conf.yaml”中“python.dc.tmp.dir”指定的目录会自动从共享目录中删除。请帮帮我。
    猜你喜欢
    • 1970-01-01
    • 2019-09-10
    • 2017-06-07
    • 1970-01-01
    • 2016-08-30
    • 1970-01-01
    • 1970-01-01
    • 2021-12-12
    • 1970-01-01
    相关资源
    最近更新 更多