我在 Azure DataLake Gen2 存储帐户中以 CSV 格式存储旧数据。我可以连接到这个并使用 DataBricks 询问它。我要求在某些记录的保留期到期后删除它们，或者如果 GDPR“被遗忘权”需要应用于数据。
使用 Delta 我可以将 CSV 加载到 Delta 表中并使用 SQL 定位和删除所需的行，但是保存这些更改的最佳方法是什么？理想情况下是回到原始文件，这样就可以从原始文件中删除数据。我在创建 Delta 表时使用 LOCATION 选项将生成的 Parquet 格式文件保存到 DataLake，但最好将其保留为原始 CSV 格式。
任何建议表示赞赏。
【问题讨论】：
标签： azure-data-lake databricks azure-databricks
我会在这里小心。被遗忘权意味着您需要删除数据。 Delta 实际上并没有从原始文件中删除它（至少最初是这样）——这只会在数据被清空后才会发生。
删除数据最安全的方法是将所有数据读入数据帧，过滤掉不需要的记录，然后使用覆盖将其写回。这将确保删除数据并重写相同的结构。
【讨论】：
在 ADF 中将 Parquet 转换为 CSV
在 ADLS Gen2 位置创建的版本化 parquet 文件可以使用 Azure 数据工厂管道中的复制数据任务转换为 CSV。
因此，您可以将 CSV 数据读入 Delta 表（位置指向 Data Lake 文件夹），使用 SQL 执行所需的更改，然后使用 ADF 将 parquet 文件转换为 CSV 格式。
我已经尝试过了，它确实有效。唯一的障碍可能是在将 CSV 文件读取到 Delta 时检测列标题。您可以将其读取到数据框并从中创建一个 Delta 表。
【讨论】：
如果您定期运行删除操作，那么将文件保存在 csv 中的成本很高，因为每次您读取文件并将数据帧转换为 Delta，然后对其进行查询，最后在过滤记录后再次保存它到 csv 并删除 Delta 表。
所以我的建议是，将 csv 转换为 Delta 一次，定期执行删除并仅在需要时生成 csv。
这里的优势是 - Delta 在内部以 parquet 格式存储数据，该格式以二进制格式存储数据，并允许更好地压缩和编码/解码数据。
【讨论】：