对长字符串中的有效单词进行标记

Question

假设您有一本包含有效单词的字典。

给定一个删除所有空格的输入字符串，确定该字符串是否由有效单词组成。

您可以假设字典是提供 O(1) 查找的哈希表。

Some examples:

helloworld-> hello world (valid)
isitniceinhere-> is it nice in here (valid)
zxyy-> invalid

如果一个字符串有多种可能的解析方式，只要返回true就足够了。

字符串可以很长。因此，请考虑一种既节省空间又节省时间的算法。

Answer 1

我会选择一种带有隐式回溯的递归算法。函数签名：f: input -> result，input 是字符串，result 是 true 或 false，这取决于整个字符串是否可以正确标记。

像这样工作：

1. 如果input是空字符串，返回true。
2. 查看input 的长度为一的前缀（即第一个字符）。如果它在字典中，则在input 的后缀上运行f。如果返回 true，则也返回 true。
3. 如果上一步的长度为一的前缀不在字典中，或者上一步中f的调用返回false，则将前缀加一并在步骤2重复。如果前缀不能再做（已经在字符串的末尾），返回false。
4. 冲洗并重复。

对于具有低到中等数量的歧义前缀的字典，这应该在实践中获取相当不错的运行时间（我会说平均情况下为 O(n)），尽管在理论上，可能可以构建复杂度为 O(2^n) 的病理案例。但是，我怀疑我们是否可以做得更好，因为无论如何我们都需要回溯，因此使用传统的预先计算的词法分析器的“本能” O(n) 方法是不可能的。 ...我想。

编辑：平均案例复杂度的估计可能不正确，请参阅我的评论。

空间复杂度只是堆栈空间，所以即使在最坏的情况下也是 O(n)。

Answer 2

我认为作为有效单词（从有限字典中提取的单词）的串联出现的所有字符串的集合形成了字符字母表上的常规语言。然后，您可以构建一个有限自动机，它完全接受您想要的字符串；计算时间为 O(n)。

例如，让字典由单词 {bat, bag} 组成。然后我们构造以下自动机：状态用 0、1、2 表示。边：(0,1,b), (1,2,a), (2,0,t), (2,0,g) ;其中三元组 (x,y,z) 表示输入 z 上从 x 到 y 的边。唯一接受的状态是 0。在每一步中，在读取下一个输入符号时，您必须计算在该输入上可到达的状态集。鉴于自动机中的状态数是恒定的，这具有 O(n) 的复杂度。至于空间复杂度，我认为你可以用 O(number of words) 来做上面的构造提示。

再举一个例子，带有 {bag, bat, bun, but} 的自动机看起来像这样：

假设已经构建了自动机（执行此操作的时间与单词的长度和数量有关 :-) 我们现在认为决定自动机是否接受字符串的时间是 O( n) 其中 n 是输入字符串的长度。 更正式地说，我们的算法如下：

1. 令 S 为一组状态，最初包含起始状态。
2. 读取下一个输入字符，我们用a来表示。
3. 对于 S 中的每个元素 s，确定我们在读取 a 时从 s 移动到的状态；也就是说，状态 r 使得上面的符号 (s,r,a) 是一条边。让我们用 R 来表示这些状态的集合。也就是说，R = {r | S中的s，(s,r,a)是一条边}。
4. （如果 R 为空，则不接受字符串，算法停止。）
5. 如果没有更多的输入符号，检查是否有任何接受状态在 R。（在我们的例子中，只有一个接受状态，即起始状态。）如果是，则接受字符串，如果不是，该字符串不被接受。
6. 否则，取 S := R 并转到 2。

现在，这个循环的执行次数与输入符号的次数一样多。我们唯一需要检查的是步骤 3 和 5 需要恒定的时间。假设 S 和 R 的大小不大于自动机中的状态数，它是恒定的，并且我们可以以查找时间恒定的方式存储边，因此如下。 （请注意，我们当然会丢失多个“解析”，但这也不是必需的。） 我认为这实际上称为常规语言的成员资格问题，但我找不到合适的在线参考。