用于查询 s3 存储桶的参数化 SQL 查询

Question

我在 s3 存储桶中有一个 CSV 文件，我正在使用 boto3 库访问它。我正在使用select_object_content 函数用SQL 语言查询文件。

这是我的代码：

resp = self.s3_client.select_object_content(
    Bucket=S3_BUCKET_MAPPING,
    Key=S3_BUCKET_MAPPING_KEY,
    ExpressionType="SQL",
    Expression=f"SELECT * from s3object s where s.field = 'value'",
    InputSerialization={
        "CSV": {"FileHeaderInfo": "Use"},
        "CompressionType": "GZIP",
    },
    OutputSerialization={"JSON": {}},
)

我的问题是关于表达式：f"SELECT * from s3object s where s.field = 'value'"

1. 当数据存储在 S3 中而不是实际的 SQL 数据库中时，这种类型的数据获取是否需要考虑 SQL 注入？
2. 如果 SQL 注入是一个问题，有没有办法像编写访问 SQL 数据库的代码那样参数化这个表达式？到目前为止，我还没有找到任何可以提供帮助的东西。

Answer 1

s3 支持limited SQL syntax。只要您使用的是静态 SQL 或正在使用传递 s3 的参数，就应该正确处理参数。

当然，如果您开始从不受信任的字符串创建 SQL 表达式，您可能会遇到麻烦。但这里似乎并非如此。