我已使用 TensorflowOnSpark 训练启用了 tensorboard (store_true) 的 RNN 模型。摘要事件已记录在 HDFS 目录中。
如何使用 tensorboard 可视化 RNN 事件（来自 hdfs 目录）？
我尝试使用 hdfs 日志目录启动 tensorboard，但启动失败并显示消息：“hdfs not supported”。
如果有人对此有任何想法，请告诉我。
【问题讨论】：
标签： apache-spark hdfs tensorboard
如果您在集群模式而非本地运行 Spark，您将无法通过在启动 Spark 作业的机器上运行 Tensorboard 来查看事件。这是因为摘要会被写入 Spark worker 机器的 HDFS 目录中。
此外，如果您已成功启用 Tensorboard，Spark 集群将代表您启动 Tensorboard，并将 Tensorboard URL 打印到您的 Spark 日志中。
使用 tensorboard 可视化事件（使用 TensorFlowonSpark）：
使用 --tensorboard 标志或 spark.py 文件中定义的启动 spark 作业。
确保使用参数 tensorboard=store_true 调用 TFCluster.run()。如果正确完成，此函数将调用启动 Tensorboard 的 TFSparkNode.run()，并打印出 Tensorboard URL here。
只需访问打印到 Spark 日志的 URL。
请注意，一旦作业成功或被终止，机器就会终止并且您的事件文件将消失。在这种情况下，如果您仍想在作业完成后查看 Tensorboard 上的事件，则可能需要将事件文件复制到本地计算机。
【讨论】：