已将压缩 S3 数据存储到 ElasticSearch Aws

Question

我一直在研究如何将压缩的 S3 数据移动到 Elasticsearch。在 Aws 网站上有信息，您可以在其中创建解压缩文件并重新上传然后将其移动到 ES 的 lambda。现在，由于我没有太大的数据集，我正在将数据下载到本地计算机并以正确的格式将其发送到 ElasticSearch。这两种方法似乎效率低下，我想知道是否有办法解压缩文件，然后将其移动到 Elasticsearch，无需下载或重新上传数据。

现在这是我的代码：

s3 = boto3.resource('s3')
s3.Bucket(bucket).download_file(key, 'download_path')
ip_pattern = re.compile('(\d+\.\d+\.\d+\.\d+)')
time_pattern = re.compile('\[(\d+\/\w\w\w\/\d\d\d\d:\d\d:\d\d:\d\d\s\+\d\d\d\d)\]')
message_pattern = re.compile('\"(.+)\"')

with gzip.open('download_path') as files:
    data = ""

    document = {}
    for line in files:
        line = line.decode("utf-8") # decode byte to str

        ip = ip_pattern.search(line).group(0)
        timestamp = time_pattern.search(line).group(0)
        message = message_pattern.search(line).group(0)

        document = { "ip": ip, "timestamp": timestamp, "message": message }

如果没有更好的方法我会使用上面的代码。

Answer 1

在 Aws 网站上有可以创建 lambda 的信息 解压缩文件并重新上传，然后将其移动到 ES。

除非出于任何其他目的需要，否则您无需将分解后的数据重新上传回 S3

或

从 zip 中提取的文件中的数据的解压缩和索引无法在最大 lambda 执行时间内发送到 elasticcache。

我相信提取它们并推送到单独的 S3 存储桶的原因可能是扫描 lamda 的一次执行以使其成为逻辑执行单元，并且适合 lambda 最大可用执行时间。

Unzip zip files from S3