losttup -d 不工作

Question

我在 /tmp 文件夹中设置了 5 个循环设备，其中备份文件为原始 40 MB 文件。

$ losetup -l
NAME       SIZELIMIT OFFSET AUTOCLEAR RO BACK-FILE
/dev/loop1         0      0         1  0 /tmp/1
/dev/loop2         0      0         0  0 /tmp/2
/dev/loop3         0      0         0  0 /tmp/3
/dev/loop4         0      0         0  0 /tmp/4
/dev/loop5         0      0         0  0 /tmp/5

我使用 lvm 为前 4 个设备创建了一个 RAID 阵列。因此，前 4 个设备变得繁忙如下：

$ lsblk 
NAME                    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                       8:0    0 931.5G  0 disk 
├─sda1                    8:1    0   100M  0 part /boot/efi
├─sda2                    8:2    0   900M  0 part 
├─sda3                    8:3    0   128M  0 part 
├─sda4                    8:4    0 372.6G  0 part 
├─sda5                    8:5    0 140.5G  0 part /
├─sda6                    8:6    0    15G  0 part 
├─sda7                    8:7    0 186.3G  0 part 
├─sda8                    8:8    0  37.3G  0 part [SWAP]
├─sda9                    8:9    0  93.1G  0 part 
└─sda10                   8:10   0  40.8G  0 part 
loop1                     7:1    0  78.1M  0 loop 
├─vol_vg-raid4_rmeta_0  252:0    0     4M  0 lvm  
│ └─vol_vg-raid4        252:8    0    48M  0 lvm  
└─vol_vg-raid4_rimage_0 252:1    0    16M  0 lvm  
  └─vol_vg-raid4        252:8    0    48M  0 lvm  
loop2                     7:2    0  78.1M  0 loop 
├─vol_vg-raid4_rmeta_1  252:2    0     4M  0 lvm  
│ └─vol_vg-raid4        252:8    0    48M  0 lvm  
└─vol_vg-raid4_rimage_1 252:3    0    16M  0 lvm  
  └─vol_vg-raid4        252:8    0    48M  0 lvm  
loop3                     7:3    0  78.1M  0 loop 
├─vol_vg-raid4_rmeta_2  252:4    0     4M  0 lvm  
│ └─vol_vg-raid4        252:8    0    48M  0 lvm  
└─vol_vg-raid4_rimage_2 252:5    0    16M  0 lvm  
  └─vol_vg-raid4        252:8    0    48M  0 lvm  
loop4                     7:4    0  78.1M  0 loop 
├─vol_vg-raid4_rmeta_3  252:6    0     4M  0 lvm  
│ └─vol_vg-raid4        252:8    0    48M  0 lvm  
└─vol_vg-raid4_rimage_3 252:7    0    16M  0 lvm  
  └─vol_vg-raid4        252:8    0    48M  0 lvm  

我现在尝试删除循环设备 1。我在控制台或 dmseg 中都没有收到任何警告/错误：

$ sudo losetup -d /dev/loop1 
shehbaz@donjaffer:~$ 

现在，我再次列出所有设备如下：

$ losetup -l
NAME       SIZELIMIT OFFSET AUTOCLEAR RO BACK-FILE
/dev/loop1         0      0         1  0 /tmp/1
/dev/loop2         0      0         0  0 /tmp/2
/dev/loop3         0      0         0  0 /tmp/3
/dev/loop4         0      0         0  0 /tmp/4
/dev/loop5         0      0         0  0 /tmp/5
shehbaz@donjaffer:~$

我还看到了与上面提供的相同的 lsblk 输出。

我尝试在我之前尝试过的命令上运行 strace（查看是否有某些权限被拒绝或未报告的其他形式的错误），我得到以下输出：

$ sudo strace losetup -d /dev/loop1
execve("/sbin/losetup", ["losetup", "-d", "/dev/loop1"], [/* 17 vars */]) = 0
brk(0)                                  = 0x1985000
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fc13f271000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=108331, ...}) = 0
mmap(NULL, 108331, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fc13f256000
close(3)                                = 0
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
open("/lib/x86_64-linux-gnu/libsmartcols.so.1", O_RDONLY|O_CLOEXEC) = 3
read(3, "\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\260R\0\0\0\0\0\0"..., 832) = 832
fstat(3, {st_mode=S_IFREG|0644, st_size=134536, ...}) = 0
mmap(NULL, 2233952, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7fc13ee2e000
mprotect(0x7fc13ee4e000, 2093056, PROT_NONE) = 0
mmap(0x7fc13f04d000, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x1f000) = 0x7fc13f04d000
mmap(0x7fc13f04f000, 1632, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x7fc13f04f000
close(3)                                = 0
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
open("/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
read(3, "\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0`\v\2\0\0\0\0\0"..., 832) = 832
fstat(3, {st_mode=S_IFREG|0755, st_size=1869392, ...}) = 0
mmap(NULL, 3972864, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7fc13ea64000
mprotect(0x7fc13ec24000, 2097152, PROT_NONE) = 0
mmap(0x7fc13ee24000, 24576, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x1c0000) = 0x7fc13ee24000
mmap(0x7fc13ee2a000, 16128, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x7fc13ee2a000
close(3)                                = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fc13f255000
mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fc13f253000
arch_prctl(ARCH_SET_FS, 0x7fc13f253740) = 0
mprotect(0x7fc13ee24000, 16384, PROT_READ) = 0
mprotect(0x7fc13f04d000, 4096, PROT_READ) = 0
mprotect(0x60f000, 4096, PROT_READ)     = 0
mprotect(0x7fc13f273000, 4096, PROT_READ) = 0
munmap(0x7fc13f256000, 108331)          = 0
brk(0)                                  = 0x1985000
brk(0x19a6000)                          = 0x19a6000
open("/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=7216688, ...}) = 0
mmap(NULL, 7216688, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fc13e382000
close(3)                                = 0
stat("/sys/block", {st_mode=S_IFDIR|0755, st_size=0, ...}) = 0
uname({sys="Linux", node="donjaffer", ...}) = 0
stat("/dev/loop-control", {st_mode=S_IFCHR|0660, st_rdev=makedev(10, 237), ...}) = 0
stat("/dev/loop1", {st_mode=S_IFBLK|0660, st_rdev=makedev(7, 1), ...}) = 0
open("/dev/loop1", O_RDONLY|O_CLOEXEC)  = 3
ioctl(3, LOOP_CLR_FD)                   = 0
close(3)                                = 0
close(1)                                = 0
close(2)                                = 0
exit_group(0)                           = ?
+++ exited with 0 +++
shehbaz@donjaffer:~$ 

我仍然看到所有使用 losttup 命令的设备。 -d 选项不能正常工作吗？我也尝试卸载 /dev/loop1，但它告诉我 /dev/loop1 没有安装。

$ umount -l /dev/loop1
umount: /dev/loop1: not mounted
shehbaz@donjaffer:~$

请帮忙。谢谢。

Answer 1

Tom hale 对上述代码 sn-p 的重要说明：

bash 脚本中使用的 losttup 命令对 if IFS 的值敏感。

自己试试看：

line="/dev/loop8 /somefile"
losetup $line     # this works
IFS=""
losetup $line     # this one will fail

如果您的变量 ($line) 包含多个参数，则 IFS 值允许 losttup 检测它们。通过清除它，最后的 losttup 认为完整的变量只有 1 个参数，这显然是失败的。

Answer 2

我会说驱动程序会一直打开文件，直到您关闭在其上打开的最后一个文件描述符，因此该文件一直在使用并使用循环设备，直到您关闭它。

这在Linux上很常见，实际上，如果你创建一个文件并打开它，它在文件系统上占用的空间只有在它上面打开的所有文件描述符都将关闭时才可用。

因此，在您停止在其上创建的 lvm raid 之前，将一直使用。

因此，在 loopX 被释放之前，您不能重复使用它；如果你尝试使用它，我猜你会得到一个错误，losetup -f 也不建议它。

Answer 3

这似乎是由旧 FS 挂载点上的工作目录的进程引起的。

令人沮丧的是，似乎没有办法知道卸载后它们是哪些进程。

我提出了util-linux issue "losetup -d exits 0 when it doesn't succeed" #484，维护者表明这是一个内核问题。

如果没有自动删除环回设备，我编写了以下代码来打印挂载点的先前使用情况。

#!/bin/bash

set -euo pipefail
shopt -s failglob

# Unmount the entries given in $1, (one per line)
unmount() {
  # https://unix.stackexchange.com/questions/9784/how-can-i-read-line-by-line-from-a-variable-in-bash
  # You need printf '%s\n' "$var" here because if you use printf '%s' "$var" 
  # on a variable that doesn't end with a newline then the while loop will
  # completely miss the last line of the variable.
  # printf '%s\n' "$1" | while IFS= read -r dir; do # each mount point
  IFS= printf '%s\n' "$1" | while read -r dir; do # each mount point
    ! /usr/bin/mountpoint -q -- "$dir" && continue

    # Bug: can only find processes using mountpoint before unmount
    # https://github.com/karelzak/util-linux/issues/484
    open_files=$(sudo lsof "$dir" 2>/dev/null || true)
    # Exits non-zero if object not in use
    # Avoid "WARNING: can't stat() fuse.gvfsd-fuse file system /run/user/1000/gvfs"

    mountpoints=$(awk -v dir="$dir" 'BEGIN{dir="^" dir "$"} $2 ~ dir {print $1}' /etc/mtab)

    while sudo "/bin/umount" -Rdl -- "$dir"; do # returns false when already unmounted
      # -R  Recursive unmount
      # -d  Remove the associated loop device
      # -l  Lazy remove filesystem references immediately
      # -v  Verbose
      sleep 0.01;
    done

    if loop_dev=$(losetup -a --list | grep --fixed-strings "$mountpoints"); then
      printf "WARNING: loop device remains after unmount:\n%s\n" "$loop_dev" 2>&1
      printf "%s\n" "$open_files" 2>&1
    fi
  done
}

# # List of mount points to umount before checking /etc/mtab
# # List any contained loopback files here
# sub_mounts='/media/backup
# /media/backup-NEW'
# unmount "$sub_mounts"

# sort -r to unmount subiretories before parents:
mtab_mounts=$(/bin/awk '$2 ~ /^\/media/ {print $2}' /etc/mtab | sort -r)
unmount "$mtab_mounts"

Answer 4

尝试删除循环时没有收到错误消息的原因是内核没有将其作为错误返回。现在，许多年后，情况似乎仍然如此。

ioctl(3, LOOP_CLR_FD)                   = 0

即使lsof 没有显示任何保持循环设备打开的进程，内核也不会释放循环，直到你也让 lvm 释放设备。 （没有 RAID，但我想仍然相关）在使用 PV 停用 LV 后，我才设法摆脱自己的循环。在我的情况下，它会在我这样做时立即消失：

lvchange -an computer-vg/root

甚至不需要再次运行losetup -d。