【问题标题】:Apache flink Quick Start "Analyze the Result" error for K-MeansK-Means 的 Apache flink 快速入门“分析结果”错误
【发布时间】:2016-01-04 14:29:39
【问题描述】:

我通过:quick_start关注了 Apache-flink 的实现

我无法执行最后一项任务,即“分析结果”,因为 kmeans 文件夹中没有结果文件。

如果你查看上面 flink JobManager 的截图,你可以看到 KMeans Example 的 Status as FAILED。并且可能由于此失败状态,kmeans 文件夹中没有结果文件。

现在单击 KMeans 示例,我得到以下可视化效果:

以下是异常截图:

请您指导我做错了什么。

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    问题是集群已经启动了一个TaskManager,它只有一个槽,你想同时执行KMeans作业,并行度为4。

    为了以 4 的并行度运行作业,您必须增加集群的 TaskManager 数量或每个 TaskManager 上的槽数。后者可以在 Flink 配置中设置flink-conf.yamltaskmanager.numberOfTaskSlots: 4。对于前者,您可以修改conf/slaves文件为额外的TaskManager添加新机器。

    或者,您可以将作业的并行度降低到 1。您可以使用命令行选项 -p 控制并行度。例如。 bin/flink run -p 1 -c JobClass job.tar

    【讨论】:

    • cd kmeans python plotPoints.py result ./result clusters 在 quick_start_guide 中给出,但 'result' 是一个包含文件 1、2、3 和 4 的文件夹。我的命令是:cd kmeans python plotPoints.py result ./result/1 clusters 生成输出为 clusters-plot.pdf
    • 当您以并行性> 1 执行作业时,每个分区的输出都会写入单独的文件中。您必须融合各个文件以获得完整的结果,然后在其上调用plotPoints.py
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-03-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多