如何访问 pod 中的磁盘设备？答案

【问题标题】：How to get an access to the disk device in a pod?如何访问 pod 中的磁盘设备？
【发布时间】：2020-10-27 17:04:12
【问题描述】：

在安装了卷的 Kubernetes pod 中，我似乎无法访问 /dev 文件夹中的底层磁盘设备。我需要它来让 XFS 工具工作。我在 DigitalOcean 上运行集群。

示例卷安装在/var/www 上。 df 来自正在运行的 pod 的输出是：

$ df -h 
Filesystem                                                                Size  Used Avail Use% Mounted on
overlay                                                                   158G  9.7G  142G   7% /
tmpfs                                                                      64M     0   64M   0% /dev
tmpfs                                                                     3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc  1.0M  1.0M     0 100% /var/www
/dev/vda1                                                                 158G  9.7G  142G   7% /etc/hosts
shm                                                                        64M     0   64M   0% /dev/shm
tmpfs                                                                     3.9G   12K  3.9G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs                                                                     3.9G     0  3.9G   0% /proc/acpi
tmpfs                                                                     3.9G     0  3.9G   0% /sys/firmware

但是，lsblk 的输出没有显示任何此类设备/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc；它显示的是/dev/sdb 设备。

$ lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0    1G  0 disk 
sdb      8:16   0    1G  0 disk /var/www
sdc      8:32   0    1G  0 disk 
sde      8:64   0    1G  0 disk 
vda    254:0    0  160G  0 disk 
|-vda1 254:1    0  160G  0 part /etc/apache2/sites-available
`-vda2 254:2    0    2M  0 part 
vdb    254:16   0  472K  1 disk

我的 pod 中没有可用的设备：

$ ls -la /dev
total 4
drwxr-xr-x 5 root root  360 Oct 27 10:59 .
drwxr-xr-x 1 root root 4096 Oct 27 10:59 ..
lrwxrwxrwx 1 root root   11 Oct 27 10:59 core -> /proc/kcore
lrwxrwxrwx 1 root root   13 Oct 27 10:59 fd -> /proc/self/fd
crw-rw-rw- 1 root root 1, 7 Oct 27 10:59 full
drwxrwxrwt 2 root root   40 Oct 27 10:58 mqueue
crw-rw-rw- 1 root root 1, 3 Oct 27 10:59 null
lrwxrwxrwx 1 root root    8 Oct 27 10:59 ptmx -> pts/ptmx
drwxr-xr-x 2 root root    0 Oct 27 10:59 pts
crw-rw-rw- 1 root root 1, 8 Oct 27 10:59 random
drwxrwxrwt 2 root root   40 Oct 27 10:58 shm
lrwxrwxrwx 1 root root   15 Oct 27 10:59 stderr -> /proc/self/fd/2
lrwxrwxrwx 1 root root   15 Oct 27 10:59 stdin -> /proc/self/fd/0
lrwxrwxrwx 1 root root   15 Oct 27 10:59 stdout -> /proc/self/fd/1
-rw-rw-rw- 1 root root    0 Oct 27 10:59 termination-log
crw-rw-rw- 1 root root 5, 0 Oct 27 10:59 tty
crw-rw-rw- 1 root root 1, 9 Oct 27 10:59 urandom
crw-rw-rw- 1 root root 1, 5 Oct 27 10:59 zero

我还尝试更改runAsUser、runAsGroup 并添加了诸如SYS_ADMIN 和SYS_RESOURCE 之类的Linux 功能——但没有帮助。

当我将容器设置为以privileged 运行时，我可以访问/dev/sdb，然后我可以将其符号链接到/dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc，以便XFS 工具可以运行。

但是，手动创建符号链接感觉就像是一种 hack，而且它只适用于特权容器：

SOURCE_LINK=$(df -h | grep -- "/var/www" | cut -d" " -f1)
TARGET_DEVICE=$(lsblk | grep -- "/var/www" | cut -d" " -f1)
mkdir -p $(dirname $SOURCE_LINK)
ln -s "/dev/$TARGET_DEVICE" "$SOURCE_LINK"

所以我的问题是：是否有某种配置/设置/方法可以在 pod 中显示 /dev/disk/by-id/scsi-0DO_Volume_pvc-650ccba6-3177-45b5-9ffb-0ac2a931fddc，最好是在非特权模式下？

（这与另一个 question of mine 有关如何启用 XFS 配额有关。）

【问题讨论】：

通常你在容器中运行东西，这样它们就不能直接访问主机系统硬件（尤其是可以让你绕过所有系统控制的原始磁盘块设备）。这个任务最好直接在容器外的 Kubernetes 节点上运行。
谢谢@DavidMaze！但是，我无权访问该节点，并且还需要将其作为动态更改配额的服务的一部分运行。话虽如此，Kubernetes 可能不是这些的最佳平台。

标签： kubernetes digital-ocean xfs

【解决方案1】：

DigitalOcean 的 Timo 在另一个 question of mine 中回答了这个问题。

为了访问设备，还需要将宿主机的/dev目录挂载到容器中。

volumes:
  - name: device-dir
    hostPath:
      path: /dev

对于容器：

volumeMounts:
  - name: device-dir
    mountPath: /dev

这消除了手动创建符号链接的需要，因为它已经存在于主机中。但是，该设备将不可写。如Kubernetes documentation 中所述，容器需要以privileged 和root 身份运行才能写入此类目录，或者需要调整主机目录的权限。

【讨论】：