Python文件迭代器多次运行

Question

我正在使用 gensim 创建我在目录中的示例文件的 word2vec 模型。我遵循了一个在线教程，它读取目录中的文件并逐行处理。我的示例文件中有 9 行。但是这段代码给了我同样的行 9 次。有人可以解释一下发生了什么。

 class MySentences(object):
     def __init__(self, dirname):
         self.dirname = dirname   

     def __iter__(self): 
         for fname in os.listdir(self.dirname):
             for line in open(os.path.join(self.dirname, fname)):
                 print os.path.join(self.dirname, fname)
                 yield line.split() 

 sentences = MySentences('/fakepath/Folder')

详情： 假设文件名包含 3 行，如

hi how are you.
I am fine.
I am good.

line.split() 应该只给我一次：['hi','how','are','you']。但这发生了 3 次，所以我三次而不是一次获得上述列表。如果总句数为 5，则返回该行 5 次。

Answer 1

首先你应该弄清楚你想要做什么。 class MySentences 将目录作为参数并创建一个对象sentences，其中包含一个生成器。所以sentences 有一个生成器，包含目录中所有文件中的所有行。

例如：

for line in sentences:
    print(line)

你会得到很多以单词为元素的列表（我已经删除了打印路径的打印语句）。即：

['hi', 'how', 'are', 'you.']

['I', 'am', 'fine.']

['I', 'am', 'good.']