Elasticsearch 和 S3 存储桶：如何让 Python 检测来自 s3 存储桶的数据是否已经在弹性搜索中？答案

【问题标题】：Elasticsearch and S3 bucket: how do I get Python to detect if data from s3 bucket are already in elasticsearch?Elasticsearch 和 S3 存储桶：如何让 Python 检测来自 s3 存储桶的数据是否已经在弹性搜索中？
【发布时间】：2021-10-25 19:00:46
【问题描述】：

我对 Elasticsearch 非常陌生，我似乎找不到可以帮助我让 Python 检测我在 s3 存储桶中的文档中的数据是否已经上传到 elasticsearch 的答案。我的目标是让它查看来自 s3 存储桶的数据是否已经在其中，如果是则跳过它，然后移动到下一个，直到它找到一个尚未上传数据的文档。有人可以帮帮我吗？

【问题讨论】：

标签： python amazon-web-services elasticsearch amazon-s3

【解决方案1】：

我认为最简单的方法是使用 DynamoDB 来存储此类信息。因此，您上传到 ES 的每个文件都会在 DDB 中获得一条记录。因此，您始终可以通过检查 DDB 中是否存在记录来验证文件是否已上传到 ES。

【讨论】：

是的，我同意。但有人已经将大部分数据放入弹性搜索数据库，我不允许移动它：/我只能添加新项目，但我试图弄清楚如何让我的 python 代码检测是否有一些的数据已经存在。
@rand03 你要查询它。
我刚刚在看文档。我假设使用这个例子？ s = Search().using(client).query("match", title="python")。从这里找到它 [elasticsearch-dsl.readthedocs.io/en/latest/search_dsl.html]
@rand03 我认为最好用相关细节和代码示例和错误提出新问题。您当前的问题没有提供此类详细信息，因此我的回答也不包括在内。不过，如果答案有帮助，我们将不胜感激。
是的，我知道：/ 我希望我能提供一个代码示例，但它主要是为了工作，所以我认为我做不到。我不想冒险破坏我的保密协议。我接受了你的回答，谢谢！