没有空格和特殊字符的字符串中的词频？

Question

假设我有以下字符串：

"hello&^uevfehello!`.<hellohow*howdhAreyou"

我将如何计算作为它的子字符串的英语单词的频率？在这种情况下，我想要一个结果，例如：

{'hello': 3, 'how': 2, 'are': 1, 'you': 1}

我搜索了与此类似的上一个问题，但我找不到任何有效的方法。一个接近的解决方案似乎是使用正则表达式，但它也不起作用。这可能是因为我实施错误，因为我不熟悉它的实际工作原理。

How to find the count of a word in a string? 这是最后一个答案

from collections import *
import re

Counter(re.findall(r"[\w']+", text.lower()))

我还尝试创建一个非常糟糕的函数，它遍历字符串中每个可能的连续字母排列（最多 8 个字母左右）。这样做的问题是

1) 它比应有的长得多并且

2) 它添加了额外的单词。例如：如果字符串中有“hello”，也会找到“hell”。

我对正则表达式不是很熟悉，这可能是正确的方法。

Answer 1

d, w = "hello&^uevfehello!`.<hellohow*howdhAreyou", ["hello","how","are","you"]
import re, collections
pattern = re.compile("|".join(w), flags = re.IGNORECASE)
print collections.Counter(pattern.findall(d))

输出

Counter({'hello': 3, 'how': 2, 'you': 1, 'Are': 1})

Answer 2

from collections import defaultdict

s = 'hello&^uevfehello!`.<hellohow*howdhAreyou'
word_counts = defaultdict(lambda: 0)

i = 0
while i < len(s):
    j = len(s)
    while j > i:
        if is_english_word(s[i:j]):
            word_counts[s[i:j]] += 1
            break
        j -= 1

    if j == i:
        i += 1
    else:
        i = j

print word_counts

Answer 3

您需要从字符串中提取所有单词，然后为每个单词查找子字符串，然后检查是否有任何子字符串是英文单词。我在How to check if a word is an English word with Python?中使用了来自答案的英语词典

但是结果中有一些误报，因此您可能希望使用更好的字典或使用自定义方法来检查所需的单词。

import re
import enchant
from collections import defaultdict

# Get all substrings in given string.
def get_substrings(string):
    for i in range(0, len(string)):
        for j in range(i, len(string)):
            yield s[i:j+1]

text = "hello&^uevfehello!`.<hellohow*howdhAreyou"

strings = re.split(r"[^\w']+", text.lower())

# Use english dictionary to check if a word exists.
dictionary = enchant.Dict("en_US")
counts = defaultdict(int)
for s in strings:
  for word in get_substrings(s):
      if (len(word) > 1 and dictionary.check(word)):
          counts[word] += 1

print counts

输出：

defaultdict(, {'are': 1, 'oho': 1, 'eh': 1, 'ell': 3, 'oh': 1, 'lo': 3, 'll': 3, 'yo': 1, 'how': 2, 'hare': 1, 'ho': 2, 'ow': 2, 'hell': 3, 'you': 1, 'ha': 1, 'hello': 3, 're': 1, 'he': 3})