为什么添加 `--display_step 2` 参数会显着减慢 Mozilla DeepSpeech 训练时间？答案

【问题标题】：Why does adding the `--display_step 2` argument significantly slow down Mozilla DeepSpeech training time?为什么添加 `--display_step 2` 参数会显着减慢 Mozilla DeepSpeech 训练时间？
【发布时间】：2020-12-07 16:52:22
【问题描述】：

我正在使用 4 Nvidia GeForce GTX 1080 的 Ubuntu 16.04 LTS x64 上的 Common Voice 数据集训练 Mozilla DeepSpeech，方法是执行以下命令：

./DeepSpeech.py --train_files data/common-voice-v1/cv-valid-train.csv \
--dev_files data/common-voice-v1/cv-valid-dev.csv  \
--test_files data/common-voice-v1/cv-valid-test.csv  \
--log_level 0 --train_batch_size 20 --train True  \
--decoder_library_path ./libctc_decoder_with_kenlm.so  \
--checkpoint_dir cv001 --export_dir cv001export  \
--summary_dir cv001summaries --summary_secs 600  \
--wer_log_pattern "GLOBAL LOG: logwer('${COMPUTE_ID}', '%s', '%s', %f)"  \
--validation_step 2

它使用了超过 80% 的 4 个 GPU。

但是，如果我添加 --display_step 2 参数，它会显着减慢训练时间，并且它使用不到 4 个 GPU 的 20%。

--display_step 是 described as，这让我很惊讶：

tf.app.flags.DEFINE_integer ('validation_step', 0, '我们在验证模型之前循环的时期数 - 详细的进度报告取决于“--display_step” - 0 表示没有验证步骤')

因此，据我了解，该模型应每 2 个 epoch 评估一次，因此不应减慢训练时间（即，它应该每 2 个 epoch 增加一些评估时间）。

为什么添加 --display_step 2 参数会显着减慢 Mozilla DeepSpeech 训练时间？

【问题讨论】：

标签： speech-recognition mozilla-deepspeech

【解决方案1】：

可能是因为 (a) 您没有提供 test_batch 参数，因此您使用大小 1 或 (b) 这是一个非常古老的选项，现在已被弃用，因此没有以任何方式进行优化。

请说明您使用的是什么版本，当前版本是 0.9.2。也许更新？

【讨论】：