【发布时间】:2023-08-17 01:04:01
【问题描述】:
我有一个 Aho Corasick trie,我通过它来解析一段文本。现在这个 trie 作为我的烧瓶应用程序的一部分存在。它部署在 Heroku 上,目前我天真地存储了自动机的腌制形式,在需要时将其取消腌制并使用它。对于这样的网络应用程序,有什么更好的方法可以有效地存储 Aho Corasick 自动机?
【问题讨论】:
标签: python trie aho-corasick
我有一个 Aho Corasick trie,我通过它来解析一段文本。现在这个 trie 作为我的烧瓶应用程序的一部分存在。它部署在 Heroku 上,目前我天真地存储了自动机的腌制形式,在需要时将其取消腌制并使用它。对于这样的网络应用程序,有什么更好的方法可以有效地存储 Aho Corasick 自动机?
【问题讨论】:
标签: python trie aho-corasick
访问磁盘上的 trie 并不完全是微不足道的,因此将其加载到内存中是一种好方法。
试试 pyahocorasick 库 FWIW。 http://pyahocorasick.readthedocs.io/ 是你的朋友。它可以腌制自动机并使用紧凑的内存方案来限制内存使用
【讨论】: