如何在 Docker 容器中挂载 HDFS

Question

我在 Docker 容器中制作了一个 Dockerized 应用程序。我打算让应用程序能够从我们的 HDFS 访问文件。 Docker 映像将部署在我们通过 Marathon-Mesos 安装 HDFS 的同一集群上。

下面是 POST 到 Marathon 的 json。看来我的应用程序能够在 HDFS 中读取和写入文件。有人可以评论一下这个的安全性吗？我的应用程序更改的文件是否也会在 HDFS 中正确更改？我用谷歌搜索并没有找到任何类似的方法......

{
  "id": "/ipython-test",
  "cmd": null,
  "cpus": 1,
  "mem": 1024,
  "disk": 0,
  "instances": 1,
  "container": {
    "type": "DOCKER",
    "volumes": [
      {
        "containerPath": "/home",
        "hostPath": "/hadoop/hdfs-mount",
        "mode": "RW"
      }
    ],
    "docker": {
      "image": "my/image",
      "network": "BRIDGE",
      "portMappings": [
        {
          "containerPort": 8888,
          "hostPort": 0,
          "servicePort": 10061,
          "protocol": "tcp",
        }
      ],
      "privileged": false,
      "parameters": [],
      "forcePullImage": true
    }
  },
  "portDefinitions": [
    {
      "port": 10061,
      "protocol": "tcp",
      "labels": {}
    }
  ]
}

Answer 1

您可以查看Docker volume docs。

基本上，app.json 中的volumes 定义将触发带有标志-v /hadoop/hdfs-mount:/home:RW 的Docker 映像的启动，这意味着主机路径以/home 以读写模式映射到Docker 容器.

如果您通过 SSH 连接到运行应用程序的节点并执行docker inspect <containerId>，您应该能够验证这一点。

另见

• https://mesosphere.github.io/marathon/docs/native-docker.html