从 AWS Athena 中的表中选择每组 1000 个样本

【问题标题】：Select 1000 samples per group from a table in AWS Athena从 AWS Athena 中的表中选择每组 1000 个样本
【发布时间】：2021-02-17 20:01:28
【问题描述】：

我在 AWS Athena 中有一个具有以下架构的表

唯一标准实验室参数名称的数量，数据库中的单位对约为 3k 数据库有大约 8000 万个条目。现在，我希望每个唯一的 standard_lab_parameter_name 获得 1000 个样本（随机），单位对因此接近 3k x 1000 行。我尝试在互联网上搜索任何此类查询，但徒劳无功。有什么帮助吗？

【问题讨论】：

标签： sql database amazon-web-services group-by amazon-athena

【解决方案1】：

您可以使用 CTE 为每个 standard_lab_parameter_name、units 对生成随机行号，然后通过要求行号为 <= 1000 来选择每对的前 1000 行：

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY standard_lab_parameter_name, units ORDER BY RANDOM()) AS rn
    FROM yourtable
)
SELECT *
FROM CTE
WHERE rn <= 1000

【讨论】：