带有张量流的Django应用程序运行非常缓慢

Question

我有一个使用django 创建的网络应用程序，它使用tensorflow 生成赞美并将其发送给注册该服务的人。每次用户提交号码时，我都会使用subprocess.call() 运行一个单独的脚本，该脚本会创建我的模型并将 AI 生成的赞美写入文本文件，然后 SMS 网关 (twilio) 使用此 .txt邮件正文的文件。

但是，在运行模型时提交一个有效数字后，应用会加载很长时间，例如有时需要 30 秒或更长时间才能停止加载页面，这并不理想。

为什么要花这么长时间？是不是因为在tensorflow 中创建模型只是一个及时的过程？我可以做些什么来加快这个速度，我应该让它在程序的早期运行代码来创建模型，还是应该提前生成一大堆赞美并让 SMS 网关从中提取？

这是创建模型的脚本：

from textgenrnn import textgenrnn
textgen = textgenrnn(weights_path='compliments_weights.hdf5',
                       vocab_path='compliments_vocab.json',
                       config_path='compliments_config.json')

textgen.generate_samples(max_gen_length=1000)
textgen.generate_to_file('textgenrnn_texts.txt', max_gen_length=1000)

Answer 1

看起来你的 TensorFlow 模型在这台机器上就是这么慢。你在没有 Django 的情况下测试了它，它也需要 30 秒，所以我们可以在这里跳过 Django 部分。

使其更快的最佳选择是使用tensorflow-gpu 和带有 Nvidia 显卡的服务器（例如 AWS GPU 实例）。这通常会将所需时间减少至少 10 倍，因此您将获得一个对于您的应用程序来说可能可以接受的等待时间。

此外，您应该尝试将 Django 和 Tensorflow-Script 解耦，以避免为每个请求加载和初始化模型。创建某种队列系统。然后你的 Django 应用程序将输入值写入队列并等待结果，你的 Tensorflow 程序在后台运行并从队列中读取值，评估模型并将结果发送回 Django。