在python中组合数千个列表字符串

Question

我有一个“爱丽丝梦游仙境”的 .txt 文件，需要去掉所有标点符号并使所有单词小写，这样我才能找到文件中唯一单词的数量。下面提到的wordlist 是书中所有单个单词作为字符串的列表，所以wordlist 看起来像这样

    ["Alice's", 'Adventures', 'in', 'Wonderland', "ALICE'S", 
    'ADVENTURES', 'IN', 'WONDERLAND', 'Lewis', 'Carroll', 'THE', 
    'MILLENNIUM', 'FULCRUM', 'EDITION', '3.0', 'CHAPTER', 'I', 
    'Down', 'the', 'Rabbit-Hole', 'Alice', 'was', 'beginning', 
    'to', 'get', 'very', 'tired', 'of', 'sitting', 'by', 'her', 
    'sister', 'on', 'the', 'bank,'

   

到目前为止我的解决方案代码是

from string import punctuation
def wordcount(book):

    for word in wordlist:
        no_punc = word.strip(punctuation)
        lower_case = no_punc.lower()
        newlist = lower_case.split()
        print(newlist)

这适用于去除标点符号并使所有单词小写，但是newlist = lower_case.split() 会为每个单词创建一个单独的列表，因此我无法遍历一个大列表来查找唯一单词的数量。我这样做.split() 的原因是，当迭代时，python 不会将任何字母视为一个单词，而是每个单词都保持完整，因为它是它自己的列表项。关于如何改进这个或更有效的方法的任何想法？这是输出的示例

    ['down']
    ['the']
    ['rabbit-hole']
    ['alice']
    ['was']
    ['beginning']
    ['to']
    ['get']
    ['very']
    ['tired']
    ['of']
    ['sitting']
    ['by']
    ['her']

Answer 1

这里是你的代码修改与输出

from string import punctuation

wordlist = "Alice fell down down down!.. down into, the hole."

single_list = []
for word in wordlist.split(" "):
    no_punc = word.strip(punctuation)
    lower_case = no_punc.lower()
    newlist = lower_case.split()
    #print(newlist)
    single_list.append(newlist[0])

print(single_list)
#to get the unique
single_list_unique = set(single_list)
print(single_list_unique)
print(len(single_list_unique))

这会产生：

['alice', 'fell', 'down', 'down', 'down', 'down', 'into', 'the', 'hole']

和唯一的集合：

{'fell', 'alice', 'down', 'into', 'the', 'hole'}

以及唯一的长度：

6

（这可能不是最有效的方法，但它与您当前的代码很接近，并且足以容纳那本包含数千个元素的书。如果这是一个服务于多个请求的后端进程，您可以通过改进对其进行优化）

编辑---------

您可能正在使用传入列表的库从文件中导入，在这种情况下您会产生错误 AttributeError: 'list' object has no attribute 'split'，或者您可能会因为空字符串而看到错误 IndexError: list index out of range。在这种情况下，您使用此修改：

from string import punctuation

wordlist2 = ["","Alice fell down down down!.. down into, the hole.", "There was only one hole for Alice to fall down into"]


single_list = []
for wordlist in wordlist2:
    for word in wordlist.split(" "):
        no_punc = word.strip(punctuation)
        lower_case = no_punc.lower()
        newlist = lower_case.split()
        #print(newlist)
        if(len(newlist) > 0):
            single_list.append(newlist[0])

print(single_list)
#to get the unique
single_list_unique = set(single_list)
print(single_list_unique)
print(len(single_list_unique))

制作：

['alice', 'fell', 'down', 'down', 'down', 'down', 'into', 'the', 'hole', 'there', 'was', 'only', 'one', 'hole', 'for', 'alice', 'to', 'fall', 'down', 'into']
{'there', 'fall', 'fell', 'alice', 'for', 'down', 'was', 'into', 'the', 'to', 'only', 'hole', 'one'}
13