提高写入txt文件python的速度

Question

我正在根据每个单词的 TD IDF 计算生成一个 txt 文件。

我正在使用此代码编写文件

w_writer = open("tf_idf_vectors_stops_2.txt", "w")
for x in xrange(0, len(listPatient)):
    patientId = listPatient[x] #List for patientid
    for words in tdDict_final[patientId]:
        w_writer.write(patent + "," + str(multiListTokens.index(words[0])) +     "," + str(words[2]))
        w_writer.write("\n")
w_writer.close()

listPatient 是一个由有序 ID 组成的列表。

 listPatient = ['001', '002', '003', '004']

tdDict_final 是一个字典，由作为键的 ID 和单词和单词值组成

在代码中我们将 word 和 word[2] 的值称为 words[0]，因为 word[1] 将是“:”，tdDict_final 的格式如下所示。

 {'001': [('dog', ':', '0.2534879), ('cat', ':', '0.0133487)],
  '002': [('floor', ':', '0.047589'), ('board'), ':' ('0.099345)],
  '003': [('key'), ':', '0.04993)],
  '004': [('thanks', ':', '0.01479')]}  

tdDict 包含 listPatient 中的所有患者

multilistTokens 是一个包含许多不同词汇（标记）的列表

multilistTokens 包含在 tdDict 中找到的所有可能的 dictinct 词汇表。

问题是，我上面的代码在写出来时非常缓慢且缓慢。

用上面的代码有没有办法提高写入txt文件的效率？

非常感谢

Answer 1

with open("tf_idf_vectors_stops_2.txt", "w") as w_writer:
    for patientId in listPatient:
        for words in tdDict_final[patientId]:
            w_writer.write("%s,%s,%s\n" % (patent, str(multiListTokens.index(words[0])), str(words[2])))

第一 |您应该使用with 语句而不是打开文件然后手动关闭文件。 with 语句是python context manager，这意味着它将以w_writer 的形式打开文件，然后当你完成时它会自动关闭它。

第二次 |没有必要使用上面的xrange，因为除了从listPatient (patientId = listPatient[x]) 获取patientId 之外，您没有使用x。您可以直接从listPatient 中提取patientId 并从那里使用它。

第三次 |使用+ 方法将字符串相加在python 中是出了名的慢。在 python 中连接（连接）字符串的最有效方法是使用 join 方法或使用就地分隔符（正如我所拥有的）。此外，您不应该调用 write 两次，因为您可以将 "\n" 合并到第一个 write 语句中。