【发布时间】:2017-09-26 17:59:18
【问题描述】:
我正在使用从 NetSuite 后端表中拉入 Redshift 的数据在 NetSuite 之外构建报告(以便将此数据与来自其他源系统的数据连接起来)。我有几个表已完全通过管道传输到 Redshift 中,我针对这些表编写查询。在尝试从每月损益表中重新创建一些值时,我注意到我的总数与 NS UI 中显示的不匹配。在与我们的财务团队进行故障排除后,他们似乎删除了 3 张发票,但仍显示在“交易”表中。我不作为 IsDeleted 字段或类似的东西。如何识别表中的哪些记录已被删除,以便将它们从我的结果中过滤掉?
【问题讨论】:
-
您的数据多久被拉入 Redshift?您的 ETL 流程是什么样的?如果您使用的是 Fivetran 或 Stitch 等服务,则永远不会删除记录。
-
否则,您可以查询 System_notes 表以访问所有记录的创建、修改、更新和删除。
-
我们使用 Airflow 和 Spark 每小时将数据导入 Redshift。 System_notes 表似乎正是我一直在寻找的。谢谢!
-
嘿@sawyer 我终于可以访问 System_notes 表,但找不到会导致我删除记录的字段。 Operation 字段似乎就是那个字段,但我只看到 Changed、Created、Unset 和 Set 的值。我认为“未设置”可能是它,但似乎不是。我应该使用哪个字段来查找已删除的记录?
标签: sql amazon-redshift netsuite