python中的计数器不显示所有单词

Question

A 有一个 csv 文件，我希望该文件中包含的 all 单词的字数以单独的 CSV 格式显示，其中包含 word, count 列。

所以我写的python脚本如下：

#!/usr/bin/python
from collections import Counter
import pandas

wordslist = []
f = open('Sample.csv')
for word in f.read().split():
    wordslist.append(word)

Freq = Counter(wordslist)

A = Freq.items()

# for item in Freq.items(): 
#   print(item)

# print len(Freq)

pd = pandas.DataFrame(A)
pd.to_csv("WordCounter.csv", header=False, encoding='utf-8')

csv中的单词数为6672，我查到如下：

cat Sample.csv | wc -w

但是，我假设脚本的输出 csv 中的行数也应该等于 6672（即我的输入文件 Sample.csv 中的总单词数），因为每个单词及其计数都存储在一个输出文件的行。

但是，它似乎比 6672 低 1036：

cat WordCounter.csv | wc -l

我错过了什么？

Answer 1

每个 UNIQUE 单词在输出文件的一行中存储一次。您的文件中没有 6672 个唯一词。如果有输出文件将是：

word0 | 1
word1 | 1
word2 | 1

其实是这样的：

word0 | 10
word1 | 5
word2 | 2

您可能还应该去除标点符号等以获得您真正想要的东西，否则会发生这种情况：

word0  | 4
word0, | 2
word0. | 3

编辑：您还可以稍微简化代码：

替换

wordslist = []
f = open('Sample.csv')
for word in f.read().split():
    wordslist.append(word)

与：

with open('Sample.csv') as f:
    wordslist = f.read().split()