如何在 AWS Glue 上编写谓词表达式

Question

我是 AWS Glue 和 PySpark 的新手。下面是一个代码示例

    glue_context.create_dynamic_frame.from_catalog(
    database = "my_S3_data_set",
    table_name = "catalog_data_table",
    push_down_predicate = my_partition_predicate)

在指南中Managing Partitions for ETL Output in AWS Glue。

假设过滤数据框的SQL查询如下

    select * from catalog_data_table
    where timestamp >= '2018-1-1'

如何在 AWS Glue 上进行预过滤？

Answer 1

一般来说，您的数据应该进行分区，然后您就可以在push_down_predicate 表达式中使用这些分区列。

请看this的回答。