目录大小和扩展名

Question

我想创建 python 命令行代码，该代码能够打印具有所有子目录大小（来自某个目录）和最常见扩展名的目录树...我将展示示例输出。

• root_dir (5 GB, jpg (65 %): avi (30 %) : pdf (5 %))

-- aa (3 GB, jpg (100 %) )

-- bb (2 GB, avi (20 %) : pdf (2 %) )

--- bbb (1 GB, ...)

--- bb2 (1 GB, ...)

-- cc (1 GB, pdf (100 %) )

格式为：

嵌套级别，目录名称（包含所有文件和子目录的目录大小，该目录中最常见的扩展以及大小百分比。

到目前为止，我有this 代码 sn-p。问题是它只计算目录中的文件大小，因此结果大小小于目录的实际大小。另一个问题是如何将它们放在一起打印我上面定义的树而不进行冗余计算。

Answer 1

计算目录大小确实不是 python 的强项，正如本文所述：very quickly getting total size of folder。如果您可以访问du 和find，请务必使用它。您可以使用以下行轻松显示每个目录的大小：

find . -type d -exec du -hs "{}" \;

如果您坚持在 python 中执行此操作，您可能更喜欢 post-order traversal 而不是 os.walk，正如 PableG 所建议的那样。但是使用os.walk 可以在视觉上更干净，如果效率不是你的最重要因素：

import os, sys
from collections import defaultdict

def walkIt(folder):
    for (path, dirs, files) in os.walk(folder):
        size = getDirSize(path)
        stats = getExtensionStats(files)

        # only get the top 3 extensions
        print '%s (%s, %s)'%(path, size, stats[:3])

def getExtensionStats(files):
    # get all file extensions
    extensions = [f.rsplit(os.extsep, 1)[-1] 
        for f in files if len(f.rsplit(os.extsep, 1)) > 1]

    # count the extensions
    exCounter = defaultdict(int)
    for e in extensions:
        exCounter[e] += 1

    # convert count to percentage
    percentPairs = [(e, 100*ct/len(extensions)) for e, ct in exCounter.items()]

    # sort them
    percentPairs.sort(key=lambda i: i[1])
    return percentPairs

def getDirSize(root):
    size = 0
    for path, dirs, files in os.walk(root):
        for f in files:
            size +=  os.path.getsize( os.path.join( path, f ) )
    return size

if __name__ == '__main__':
    path = sys.argv[1] if len(sys.argv) > 1 else '.'
    walkIt(path)

Answer 2

我个人认为 os.listdir + a_recursive_function 比 os.walk 更适合这个任务：

import os, copy
from os.path import join, getsize, isdir, splitext

frequent_ext = { ".jpg": 0, ".pdf": 0 }     # Frequent extensions

def list_dir(base_dir):
    dir_sz = 0  # directory size
    files = os.listdir(base_dir)
    ext_size = copy.copy(frequent_ext)

    for file_ in files:
        file_ = join(base_dir, file_)

        if isdir(file_):
            ret = list_dir(file_)
            dir_sz += ret[0]
            for k, v in frequent_ext.items():           # Add to freq.ext.sizes
                ext_size[k] += ret[1][k]
        else:
            file_sz = getsize(file_)
            dir_sz += file_sz

            ext = os.path.splitext(file_)[1].lower()   # Frequent extension?
            if ext in frequent_ext.keys():
                ext_size[ext] += file_sz

    print base_dir, dir_sz,
    for k, v in ext_size.items():
        print "%s: %5.2f%%" % (k, float(v) / max(1, dir_sz) * 100.),

    print 

    return (dir_sz, ext_size)


base_dir = "e:/test_dir/"
base_dir = os.path.abspath(base_dir)
list_dir(base_dir)

Answer 3

@Cldy 使用 os.path 是对的

例如os.path.walk 将首先遍历参数下面的每个目录，并返回每个目录中的文件和文件夹

使用os.path.getsize 获取大小并拆分以获取扩展名。将扩展存储在列表或字典中，并在遍历每个

后对它们进行计数

如果您使用的是 Linux，我建议您改为查看 du。

Answer 4

这就是你need 的模块。还有this。