数据湖中的数据保留策略

Question

我是这个 Azure Data Lake 世界的新手。我正在寻找任何必要的先决条件和注意事项以使用 azure 数据湖。我找到了一个很好的链接，发现安静有用。 http://www.sqlchick.com/entries/2016/7/31/data-lake-use-cases-and-planning

目前，我不确定的一件事是数据湖中的数据保留政策。有人说不应该从数据湖中删除/清除数据，而很少有人有不同的看法。

那么，对于任何数据湖中的数据保留策略（归档、清除），我们是否需要遵循任何具体和基本的考虑？我知道用例将是这方面的决定因素，但在决定这一点之前是否有任何高层次的考虑，这是我的问题。

谢谢，

Answer 1

我认为你的主要因素是：

1. 是否有使数据过期的法律义务？
2. 数据过期是否有成本原因？
3. 是否存在过时因素导致您不再关心旧数据（并且愿意在未来被证明是错误的）？

Answer 2

定价也可能是一个因素：

Azure Data Lake Store 上 10TB - 390 美元/月

10TB Azure Blob 存储 - 152 美元/月

至于与删除碎片相关的问题，类似于 RDBMS 数据仓库，我不知道有任何问题。

从去年 10 月开始，Melissa Coates 在那篇文章上做得很好。感谢分享。