【发布时间】:2021-04-22 11:51:25
【问题描述】:
当我们在部署到生产环境之前对 Rasa Agen 进行压力测试时,我们发现它仅支持每秒 23 个请求,响应时间为 1 秒。
如果我们尝试增加超过 23 个请求,那么响应时间会逐渐增加;无论其硬件如何,它都会超过 5 秒。
有没有办法消除这个限制?
我使用的是 Rasa 2.1.2 版
【问题讨论】:
标签: rasa
当我们在部署到生产环境之前对 Rasa Agen 进行压力测试时,我们发现它仅支持每秒 23 个请求,响应时间为 1 秒。
如果我们尝试增加超过 23 个请求,那么响应时间会逐渐增加;无论其硬件如何,它都会超过 5 秒。
有没有办法消除这个限制?
我使用的是 Rasa 2.1.2 版
【问题讨论】:
标签: rasa
我们为kAIron做了类似的exercise,它内部使用rasa 2.1.2并且不能有超过23个req/seq;即使我们使用仍在开发中的 tornado 实现聊天服务器,我们也可以达到 32 req/seq max 响应时间长达 1 秒。
根据我们的经验,要实现更多并发,一种选择是将 rasa 聊天服务器部署在 Kubernetes 和 horizontal scaling
【讨论】: