【问题标题】:Flink filesystem supportFlink 文件系统支持
【发布时间】:2018-08-08 16:00:46
【问题描述】:

文档https://ci.apache.org/projects/flink/flink-docs-stable/internals/filesystems.html#implementations 说“一个不完整的列表”。 在哪里可以找到完整的?

【问题讨论】:

  • Flink 文档有点不稳定。有时你必须自己去发现
  • 无法查找。决定在查看代码之前先询问一下。

标签: apache-flink


【解决方案1】:

文档的部署和操作部分包括File Systems上的一个页面。

引用该页面:

Flink 直接实现了以下文件系统:

  • local:方案为“file://”时使用该文件系统,表示本机文件系统,包括任何NFS强> 或 SAN 安装到该本地文件系统中。

  • S3:Flink 直接提供文件系统与 Amazon S3 通信,注册在“s3://”方案下。有两种选择 实现,flink-s3-fs-presto 和 flink-s3-fs-hadoop,基于 Presto 项目和 Hadoop 项目的代码。两个都 实现是自包含的,没有依赖足迹。至 使用 Flink 作为库时使用那些,添加相应的 maven 依赖项(org.apache.flink:flink-s3-fs-presto:1.5.0 或 org.apache.flink:flink-s3-fs-hadoop:1.5.0)。启动 Flink 时 Flink 二进制文件中的应用程序,复制或移动相应的 jar 文件从 opt 文件夹到 lib 文件夹。有关详细信息,请参阅 AWS 设置。

  • MapR FS:当 MapR 库位于类路径中时,MapR 文件系统“maprfs://”自动可用。

  • OpenStack Swift FS:Flink 直接提供了一个文件系统来和 OpenStack Swift 文件系统对话,注册在 scheme “迅速://”。 flink-swift-fs-hadoop 的实现基于 Hadoop 项目,但它是自包含的,没有依赖项足迹。至 在使用 Flink 作为库时使用它,添加相应的 maven 依赖(org.apache.flink:flink-swift-fs-hadoop:1.5.0 启动时 Flink 二进制文件中的 Flink 应用程序,复制或移动 从 opt 文件夹到 lib 文件夹的相应 jar 文件。

文档还描述了如何实现和注册自定义文件系统连接器。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-12
    • 2021-06-02
    • 1970-01-01
    • 1970-01-01
    • 2020-12-21
    • 1970-01-01
    相关资源
    最近更新 更多