如何在 Python 中比较两个大文本文件？

Question

数据集：我有两个不同的文本数据集（用于训练和测试的大型文本文件，每个包含 30,000 个句子）。部分数据如下： " 富尔顿县大陪审团周五表示，对亚特兰大最近初选的调查“没有证据”表明发生了任何违规行为。 "

问题：如何在 Python 中将训练中未出现的测试数据中的每个单词替换为单词“unk”？

我的解决方案：我是否应该使用“嵌套 for 循环”将训练数据的所有单词与测试数据的所有单词进行比较，以及使用“if 语句”来判断是否存在测试数据中的单词不在训练数据中，然后替换为“unk”？

#open text file and assign it to varaible with the name "readfile"
readfile1= open('train.txt','r')
#create the new empty text file with the new name and then assign it to variable 
# with the name "writefile". now this file is ready for writing in that
writefile=open('test.txt','w')
for word1 in readfile1:
    for word2 in readfile2:
        if (word1!=word2):
            word2='unk'
writefile.close()

Answer 1

请尝试以下方法：

1. 将您的训练集转换为字典，其中工作为键，计数为值。例如：

    {"Hello":1,
    "World":2}

1. 对于测试集中的每个单词，尝试访问 dict 中不存在的单词，然后替换为“unk”。

     def fun(testset):
            newtestset= testset
            for word in testset:
             try:
              Count = word_dict['Hello']
             except:
              newtestset.replace(word,'unk')
            return newtestset

1. 为所有的txt文件生成dict：

def freq(str): 
    
    out_dict = {}
    # break the string into list of words 
    str_list = str.split() 
  
    # gives set of unique words 
    unique_words = set(str_list) 

    for word in unique_words:
        out_dict[word] = str_list.count(word)
    return out_dict