虚拟机增加磁盘空间并达到低磁盘空间问题

Question

1 个月前，我在三个 VM 集群系统上安装了 Apache Amabari，并使用了 183 GB 中的 47 GB，但现在它每天都在增加 1 到 2 GB，没有安装任何其他东西。您能否指导我如何从 VM 中删除或释放空间。

Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
                      490G   22G  444G   5% /
tmpfs                 3.9G  8.0K  3.9G   1% /dev/shm
/dev/sda1             477M   48M  404M  11% /boot
vagrant               183G  181G  2.3G  99% /vagrant

VM 1 take 49 GB Space Used
VM 2 take 29 GB Space Used
VM 3 take 79 GB Space Used

VM 3 根级文件空间详细信息

dr-xr-xr-x.   2 root    root          4096 May 12 08:05 bin
dr-xr-xr-x.   5 root    root          1024 Apr 27  2013 boot
drwxr-xr-x    3 root    root          4096 May 12 08:40 cgroups_test
drwxr-xr-x   18 root    root          3680 Jun 14 10:37 dev
drwxr-xr-x. 102 root    root          4096 Jun 14 10:37 etc
drwxr-xr-x    5 root    root          4096 May 12 10:11 hadoop
drwxr-xr-x.  19 root    root          4096 May 22 08:39 home
dr-xr-xr-x.   9 root    root          4096 May 12 08:05 lib
dr-xr-xr-x.  10 root    root         12288 May 12 08:05 lib64
drwx------.   2 root    root         16384 Apr 27  2013 lost+found
drwxr-xr-x.   3 root    root          4096 Apr 27  2013 media
drwxr-xr-x.   2 root    root          4096 Sep 23  2011 mnt
drwxr-xr-x.   4 root    root          4096 Apr 27  2013 opt
dr-xr-xr-x  111 root    root             0 Jun 14 10:37 proc
dr-xr-x---.   5 root    root          4096 Jun 13 13:28 root
dr-xr-xr-x.   2 root    root         12288 May 12 08:05 sbin
drwxr-xr-x.   2 root    root          4096 Apr 27  2013 selinux
drwxr-xr-x.   2 root    root          4096 Sep 23  2011 srv
-rw-r--r--    1 root    root    3221225472 Jun 14 10:38 swapfile
drwxr-xr-x   13 root    root             0 Jun 14 10:37 sys
drwxrwxrwt.  42 root    root          4096 Jun 16 06:53 tmp
drwxr-xr-x.  15 root    root          4096 May 12 08:04 usr
drwxr-xr-x    1 vagrant vagrant       4096 May 12 05:44 vagrant
drwxr-xr-x.  19 root    root          4096 May 17 07:48 var
[root@c6403 /]# pwd
/

请指导我哪里做错了，或者请告诉我如何增加 VM 的可用空间。

Answer 1

首先要说的是，Ambari Vagrant 环境不适合用于生产用途。此配置应用于研究和/或测试。在单个物理主机上的虚拟机上运行 Hadoop 集群会带来主要的性能和可靠性缺陷（例如，隐式中断的故障转移/数据复制）。详情见this question

对于生产用途，您应该直接在物理机上安装 Ambari，或者为集群的每个物理主机配置 1-2 个虚拟机。

如果您仍要继续使用虚拟机并深入研究故障排除，请尝试将 ncdu 实用程序安装到您的 VM 中。

典型的ncdu 输出如下所示：

ncdu 1.7 ~ Use the arrow keys to navigate, press ? for help                                                         
--- /data ----------------------------------------------------------------------------------------------------------
  163.3GiB [##########] /docimages                                                                                  
   84.4GiB [#####     ] /data
   82.0GiB [#####     ] /sldata
   56.2GiB [###       ] /prt
   40.1GiB [##        ] /slisam
   30.8GiB [#         ] /isam
   18.3GiB [#         ] /mail
   10.2GiB [          ] /export
    3.9GiB [          ] /edi   
    1.7GiB [          ] /io     
    1.2GiB [          ] /dmt
  896.7MiB [          ] /src
  821.5MiB [          ] /upload
  691.1MiB [          ] /client
  686.8MiB [          ] /cocoon
  542.5MiB [          ] /hist
  358.1MiB [          ] /savsrc
  228.9MiB [          ] /help
  108.1MiB [          ] /savbin
  101.2MiB [          ] /dm
   40.7MiB [          ] /download

类似的输出（但没有排序），可以通过运行这个命令来实现：

du -sh /*

通过这种方式，您可以查看虚拟机中占用最多空间的内容。 /var/log/ 的日志可能占用了大部分空间。另外，使用ncdu探索/usr/hdp目录，因为这里存储了很多HDP堆栈文件