Python3，MongoDB仅在文档不存在时插入

Question

我目前有一个字典，其中包含从 API 中提取的数据，其中我为每个数据点提供了它自己的变量（job_id、jobtitle、公司等）：

output = {
        'ID': job_id, 
        'Title': jobtitle, 
        'Employer' : company, 
        'Employment type' : emptype, 
        'Fulltime' : tid, 
        'Deadline' : deadline, 
        'Link' : webpage
}

我想添加到我的数据库中，很简单：

db.jobs.insert_one(output)

但这一切都在一个 for 循环中，它将创建 30 个独特的新文档，包括名称、标题、链接等等，这个脚本将运行不止一次，所以我希望它做的只是如果数据库中尚不存在“输出”作为文档，则将其作为文档插入，所有这些新文档都具有来自 job_id 变量的自己的唯一 ID，我可以对此进行检查吗？

Answer 1

你需要尝试两件事：

1) 执行.find() 并且如果没有找到给定job_id 的文档，则写入数据库是双向调用 - 相反，您可以在job_id 字段上使用unique-index，如果您的操作尝试插入重复的文档，这将引发错误（拥有唯一索引是避免重复的更安全的方法，即使您的代码逻辑失败也很有帮助）。

2) 如果您有 30 个字典 - 您无需迭代 30 次并使用 insert_one 进行 30 次数据库调用，而是可以使用 insert_many 接收数组dict 的 & 写入数据库。

注意： 默认情况下，所有 dict 都按照它们在数组中的顺序写入，如果 dict 因重复错误而失败，则 insert_many 在此时失败，而不会插入其余的, 所以要克服这个你需要传递一个选项 ordered=False 这样所有字典都会被插入，除了重复的。

Answer 2

编辑：

替换

db.jobs.insert_one(output)

与

db.jobs.replace_one({'ID': job_id}, output, upsert=True)

带有工作示例的原始答案：

将replace_one() 与upsert=True 一起使用。您可以多次运行它，如果找不到ID，它将使用插入，如果找到则替换。这与您所要求的不太一样，因为数据总是会更新（因此较新的数据会覆盖任何现有数据）。

from pymongo import MongoClient


db = MongoClient()['mydatabase']

for i in range(30):
    db.employer.replace_one({'ID': i},
    {
            'ID': i,
            'Title': 'jobtitle',
            'Employer' : 'company',
            'Employment type' : 'emptype',
            'Fulltime' : 'tid',
            'Deadline' : 'deadline',
            'Link' : 'webpage'
    }, upsert=True)

# Should always print 30 regardless of number of times run.
print(db.employer.count_documents({}))