通过添加适当的间距规范化字符串

Question

对于 stackoverflow 来说可能是一个非常广泛的问题，但它就是这样，

我正在尝试对句子中的单词进行规范化，例如：

输入：

• 我通过良好的 ASDWEQ 开发地理上分散的团队。

输出 （注意在地理上分散之间的空间）

• 我通过良好的 ASDWEQ 开发地理上分散的团队。

因为无法选择使用外部 API（例如，使用 google API）。 我需要设计我们的内部Java API

显而易见且幼稚的解决方案是这样的：

for all word in sentence do:
   if word is in dictionary then ignore
   else:
        if word is reduce-able to a set of dictionary keywords then split
        else ignore

od;

所以在我开始使用这种方法之前，我的问题是，是否有更好的方法？例如一些 OPEN SOURCE 库，甚至是不同的方法？

Answer 1

你看过Flex 和Bison 吗？它有助于创建扫描器并定义文本处理模式，您应该找到一个技巧来将解析器映射到您的案例中的现有字典。