ZFS 显示可用空间，无法删除

Question

我有一个旧的 zfs 池（创建于 05-2012 年），它在 debian 7.6 上运行，并且有 26Gbytes 空闲空间（58Tbytes 中），正如 df 所报告的那样。我刚刚重新安装了操作系统（debian 8.7），现在池在 df 中显示为 0 字节可用，但在 zpool 列表中显示为 1.04Tbyte “FREE”。

我有两个问题：

1) zpool list (=1.04Tbytes) 中的 FREE 和 zfs list (=0) 中的 AVAIL 有什么区别？

2) 我可以做些什么来使用这 1Tbyte 的可用空间吗？我已经删除了所有的快照，这没有任何区别...

提前致谢。

% df -h /contentA
Filesystem      Size  Used Avail Use% Mounted on
contentA         58T   58T     0 100% /contentA

% zpool list contentA
NAME       SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
contentA    65T  64.0T  1.04T     16.0E      -    98%  1.00x  ONLINE  -

% zfs list contentA
NAME       USED  AVAIL  REFER  MOUNTPOINT
contentA  58.0T      0  58.0T  /contentA

% uname -a
Linux myserver 3.16.0-4-amd64 #1 SMP Debian 3.16.39-1+deb8u2 (2017-03-07) x86_64 GNU/Linux

% cat /etc/debian_version 
8.7

Answer 1

在zfs(8) 手册页中，available 表示：

The amount of space available to the dataset and all its children,
assuming that there is no other activity in the pool. Because space
is shared within a pool, availability can be limited by any number of
factors, including physical pool size,  quotas, reservations, or other
datasets within the pool.

一般来说，寻找差异的第一个位置是该数据集之外的内容，例如同一池中不同数据集上的预留集。

但是，从您的帖子看来，您运行 list 所针对的数据集可能是您的池的根数据集，它应该包含那里的所有其他子数据集。在某些情况下，您的池配置可能会导致这样的差异，详见Oracle docs。

但是（再次），这些通常适用于冗余和元数据存储所需的空间，以防逻辑数据大小扩展（即镜像池显示的 available 空间是 free 空间的一半，因为您写入数据集的每个字节都必须复制到两个地方）。由于您的数据集的 available 为零，显然这不仅仅是考虑未来写入的预测开销。

这让我有了最后的解释。 ZFS 在其空间核算中内置了一个安全机制，以防止用户填充超过 63/64 的池（这让我觉得非常接近您的情况，因此几乎可以肯定您正在达到的限制）。因为 ZFS 总是需要新的空间来修改磁盘上的状态（因为写时复制），如果超出该限制，池可能不再能够删除内容以释放空间以进行新的写入，使其变为只读 - 永久。虽然可以修补 ZFS 或更改可调参数以绕过限制，但我不建议这样做！