使用 TensorBoard 从 tf_agents 可视化图形答案

【问题标题】：Use TensorBoard to visualize graph from tf_agents使用 TensorBoard 从 tf_agents 可视化图形
【发布时间】：2021-02-24 04:27:13
【问题描述】：

我是 RL 的新手，目前正在自学如何使用 tf_agents 库实现不同的算法和超参数。

我一直在使用本教程 https://colab.research.google.com/github/tensorflow/agents/blob/master/docs/tutorials/1_dqn_tutorial.ipynb 提供的代码。

在学习了如何使用 TensorBoard 之后，我开始想知道如何从 tf_agents 库中可视化图表。每个 TensorBoard 教程/帖子似乎都实现了自己的模型或定义 tf.function 来记录图。但是，我就是不能将这些方法应用到上面的教程中。

如果有人可以帮助我在 TensorBoard 中使用 tf_agents 可视化模型图，将不胜感激。谢谢！

【问题讨论】：

标签： tensorflow tensorboard reinforcement-learning dqn

【解决方案1】：

认为这个 colab 笔记本是 TF-Agents 实际工作方式的一个非常简单的版本。实际上，您应该使用 Driver 来采样轨迹，而不是手动调用

agent.action(state)
env.step(action)

在每次迭代中。 Driver 的另一个优点是它可以轻松兼容 TF-Agents 中的所有指标。

至于你的问题是如何：

在您的培训开始时，定义一个 summary_writer 类似于：

train_dir = os.path.join(root_dir, 'train')    
train_summary_writer = tf.summary.create_file_writer(
            train_dir, flush_millis=10000)
train_summary_writer.set_as_default()

现在每次调用 agent.train 时，它都会刷新到此摘要编写器及其 tensorboard 文件夹 train_dir。

要将一些指标添加到组合中，只需使用以下内容定义它们：

train_metrics = [
        tf_metrics.NumberOfEpisodes(),
        tf_metrics.EnvironmentSteps(),
        tf_metrics.AverageReturnMetric(buffer_size=collect_episodes_per_epoch),
        tf_metrics.AverageEpisodeLengthMetric(buffer_size=collect_episodes_per_epoch),
    ]

将它们与您的重播缓冲区一起作为观察者传递给驱动程序，如下所示：

dynamic_episode_driver.DynamicEpisodeDriver(
            tf_env,
            collect_policy,
            observers=replay_observer + train_metrics,
            num_episodes=collect_episodes_per_epoch).run()

然后将它们记录到您的摘要中：

for train_metric in train_metrics:
    train_metric.tf_summaries(train_step=epoch_counter, step_metrics=train_metrics[:2])

如果您想知道，step_metrics 参数用于绘制最后两个指标与前两个指标。

【讨论】：