【问题标题】:Delete record from databricks DBFS从数据块 DBFS 中删除记录
【发布时间】:2021-07-08 15:33:02
【问题描述】:

我正在尝试删除位于 DBFS 中的 Databricks Delta Lake 中的一些记录。我只有路径。没有保存为表格,有没有办法从增量文件中删除记录?

谢谢

【问题讨论】:

  • 你能提供你想删除的例子吗?
  • 从表中删除文件或记录?
  • 我正在尝试从文件中删除记录,而不是从表中删除记录

标签: pyspark databricks delta-lake


【解决方案1】:

更新答案:

Delta Lake 能够使用DELETE FROM 命令执行删除,因此您只需要提供正确的WHERE 条件来匹配您要删除的记录(放置真实路径而不是<path-to-delta-table>):

DELETE FROM delta.`<path-to-delta-table>` WHERE your_condition

第一版答案,更新前:

DBFS is the file system,上面的项目是文件和目录。您可以使用 %fs rm file_name (docs) 或 Python 或 Scala 中相应的 dbutils.fs.rm("file_name") 命令删除文件和目录(请参阅 docs)。您甚至可以通过Databricks CLI、直接从您的计算机或通过 REST API 进行操作。

DBFS 中的另一个对象是挂载点,有special commands。如有必要,您可以卸载挂载点

【讨论】:

    猜你喜欢
    • 2022-06-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-05-05
    • 2019-09-05
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多