【问题标题】:How to join paths in Beam FileSystem如何在 Beam 文件系统中加入路径
【发布时间】:2022-08-17 04:07:46
【问题描述】:

我正在弄清楚有关 Beam FileSystems 的一些基本知识。这在 Beam 中有什么相似之处?

import java.nio.File.{FileSystems => FS}
...
FS.getDefault().getPath(\"gcs://foo\", \"/bar\")
(edited)

我试过了

import org.apache.beam.sdk.io.{FileSystems => BFS}
BFS.matchNewResource(\"gcs://foo\", isDirectory=true).resolve(\"/bar\", ...).getFileName

但这只返回bar(我可以做一些hacky的东西,但是有没有合适的方法呢?)

    标签: scala google-cloud-storage apache-beam dataflow


    【解决方案1】:

    目录路径必须采用 bar/ 的形式(前面没有斜线,并且应该有一个训练斜线)。

    因此,以目录结尾的连接路径如下所示:

    BFS.matchNewResource("gcs://foo", isDirectory=true)
      .resolve("bar/", RESOLVE_DIRECTORY)
      .toString()
    

    【讨论】:

      猜你喜欢
      • 2010-11-08
      • 1970-01-01
      • 1970-01-01
      • 2012-04-30
      • 1970-01-01
      • 2023-02-20
      • 2018-12-28
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多