【问题标题】:Bash alias to automatically detect arbitrarily named file sequences?Bash别名自动检测任意命名的文件序列?
【发布时间】:2012-10-13 17:07:47
【问题描述】:

我正在寻找一个 bash 别名来改变 ls 的结果。我经常处理大量文件,这些文件不遵循相同的命名约定。它们唯一的共同点是数字是 4 填充的(抱歉,不确定正确的说法)并且紧接在扩展之前。

例如 - 文件名_v028_0392.bgeo、test_x34.prerun.0012.simdata、文件名_v001_0233.exr

我希望将每个序列列为 1 个元素,以便

filename_v003_0001.geo
filename_v003_0002.geo
filename_v003_0003.geo
filename_v003_0004.geo
filename_v003_0005.geo
filename_v003_0006.geo
filename_v003_0007.geo
filename_v003_0032.geo
filename_v003_0033.geo
filename_v003_0034.geo
filename_v003_0035.geo
filename_v003_0036.geo
testxxtest.0057.exr
testxxtest.0058.exr
testxxtest.0059.exr
testxxtest.0060.exr
testxxtest.0061.exr
testxxtest.0062.exr
testxxtest.0063.exr

将显示为类似于

[seq]filename_v003_####.geo (1-7)
[seq]filename_v003_####.geo (32-36)
[seq]testxxtest.####.exr (57-63)

同时列出未改变的非序列。

我真的不知道从哪里着手解决这个问题。我知道相当数量的python,但不确定这是否真的是最好的方法。任何帮助将不胜感激!

谢谢

【问题讨论】:

  • 好问题!你也想要上色吗? :p 你想走多远?我的意思是,你想用file1-001-1.txt-0file1-001-1.txt-1、...、file1-001-2.txt-0file1-001-2.txt-1、...、file1-002-1.txt-0file1-002-1.txt-1、...之类的东西做什么比你给出的序列更难识别或表示
  • 这很酷,因为它可以一直工作,我真的只需要它在我发布的情况下工作,*####.extension。我只是不确定这是我应该在 python 还是直接 bash 中做的事情。我只知道一点 bash 并且有点想以此为起点来更好地学习它。
  • 另一个问题是,并非我使用的所有扩展都是 3 个字符,其中一些包含 .'s,例如“bgeo.gz”。我可以列出我使用的所有扩展名,但我想找到一个更优雅的解决方案,比如取最后 4 个数字。
  • 您不想要别名。要么编写脚本,要么将其作为 shell 函数。即lsf() { ls "$@" | awk ...; }

标签: python bash shell sequence ls


【解决方案1】:

我有一个 python 2.7 脚本,它通过解决折叠仅按序列号更改的几行的更一般问题来解决您的问题

import re

def do_compress(old_ints, ints):
    """
    whether the ints of the current entry is the continuation of the previous
    entry
    returns a list of the indexes to compress, or [] or False when the current
    line is not part of an indexed sequence
    """
    return len(old_ints) == len(ints) and \
        [i for o, n, i in zip(old_ints, ints, xrange(len(ints))) if n - o == 1]

def basic_format(file_start, file_stop):
    return "[seq]{} .. {}".format(file_start, file_stop)


def compress(files, do_compress=do_compress, seq_format=basic_format):
    p = None
    old_ints = ()
    old_indexes = ()

    seq_and_files_list = [] 
        # list of file names or dictionaries that represent sequences:
        #   {start, stop, start_f, stop_f}

    for f in files:
        ints = ()
        indexes = ()

        m = p is not None and p.match(f) # False, None, or a valid match
        if m:
            ints = [int(x) for x in m.groups()]
            indexes = do_compress(old_ints, ints)

        # state variations
        if not indexes: # end of sequence or no current sequence
            p = re.compile( \
                '(\d+)'.join(re.escape(x) for x in re.split('\d+',f)) + '$')
            m = p.match(f)
            old_ints = [int(x) for x in m.groups()]
            old_indexes = ()
            seq_and_files_list.append(f)

        elif indexes == old_indexes: # the sequence continues
            seq_and_files_list[-1]['stop'] = old_ints = ints
            seq_and_files_list[-1]['stop_f'] = f
            old_indexes = indexes

        elif old_indexes == (): # sequence started on previous filename
            start_f = seq_and_files_list.pop()
            s = {'start': old_ints, 'stop': ints, \
                'start_f': start_f, 'stop_f': f}
            seq_and_files_list.append(s)

            old_ints = ints
            old_indexes = indexes

        else: # end of sequence, but still matches previous pattern
            old_ints = ints
            old_indexes = ()
            seq_and_files_list.append(f)

    return [ isinstance(f, dict) and seq_format(f['start_f'], f['stop_f']) or f 
        for f in seq_and_files_list ]


if __name__ == "__main__":
    import sys
    if len(sys.argv) == 1:
        import os
        lst = sorted(os.listdir('.'))
    elif sys.argv[1] in ("-h", "--help"):
        print """USAGE: {} [FILE ...]
compress the listing of the current directory, or the content of the files by
collapsing identical lines, except for a sequence number
"""
        sys.exit(0)
    else:
        import string
        lst = [string.rstrip(l, '\r\n') for f in sys.argv[1:] for l in open(f)])
    for x in compress(lst):
        print x

也就是说,在您的数据上:

bernard $ ./ls_sequence_compression.py given_data
[seq]filename_v003_0001.geo .. filename_v003_0007.geo
[seq]filename_v003_0032.geo .. filename_v003_0036.geo
[seq]testxxtest.0057.exr .. testxxtest.0063.exr

它基于与非数字文本匹配的两个连续行中存在的整数之间的差异。这允许在用作序列基础的字段更改时处理非统一输入...

这是一个输入示例:

01 - test8.txt
01 - test9.txt
01 - test10.txt
02 - test11.txt
02 - test12.txt
03 - test13.txt
04 - test13.txt
05 - test13.txt
06
07
08
09
10

给出:

[seq]01 - test8.txt .. 01 - test10.txt
[seq]02 - test11.txt .. 02 - test12.txt
[seq]03 - test13.txt .. 05 - test13.txt
[seq]06 .. 10

欢迎评论!

哈...我差点忘了:没有参数,这个脚本输出当前目录的折叠内容。

【讨论】:

  • 谢谢!这里有很多我不熟悉的东西,但我开始挖掘和学习。谢谢!
  • 没问题!顺便说一句,sorted() 是目录列表,因为os.listdir() 以任意顺序返回文件
【解决方案2】:

这是使用awk 做类似事情的一种方式。虽然代码非常难以阅读:

#!/bin/bash

ls | awk '
function smprint() {
    if ((a[1]!=exA1) || (a[2] != exA2+1)) {
        if ((exA1) && (exA1==exexA1)) print "\t.. " exfile;
        else printf linesep;
        if ($0!=exfile) printf $0;
    }
};
BEGIN { d="[0-9]"; rg="(.*)(" d d d d ")(.*)"; };
{
    split(gensub(rg, "\\1####\\3\t\\2", "g"), a, "\t");
    # produces e.g.: a[1]="file####.ext" a[2]="0001"

    smprint();
    linesep="\n";

    exexA1=exA1; # old old a[1]
    exA1=a[1]; # old a[1]
    exA2=a[2]; # old a[2]
    exfile=$0; # old filename
};
END {
    smprint();
}'

比较ls的输出和上面的脚本在同一个文件夹中:

etuardu@subranu:~/Desktop/pippo$ ls
asd1234_0001.tar.bz2    filename_v003_0006.geo  script.sh
asd1234_0002.tar.bz2    filename_v003_0007.geo  testxxtest.0057.exr
asd1234_0003.tar.bz2    filename_v003_0032.geo  testxxtest.0058.exr
filename_v003_0001.geo  filename_v003_0033.geo  testxxtest.0059.exr
filename_v003_0002.geo  filename_v003_0034.geo  testxxtest.0060.exr
filename_v003_0003.geo  filename_v003_0035.geo  testxxtest.0061.exr
filename_v003_0004.geo  filename_v003_0036.geo  testxxtest.0062.exr
filename_v003_0005.geo  other_file              testxxtest.0063.exr
etuardu@subranu:~/Desktop/pippo$ ./script.sh 
asd1234_0001.tar.bz2    .. asd1234_0003.tar.bz2
filename_v003_0001.geo  .. filename_v003_0007.geo
filename_v003_0032.geo  .. filename_v003_0036.geo
other_file
script.sh
testxxtest.0057.exr .. testxxtest.0063.exr
etuardu@subranu:~/Desktop/pippo$ 

如果您介意坚持示例中提供的语法,可以将此输出通过管道传输到 sed。有了一些正则表达式魔法,你就有了:

etuardu@subranu:~/Desktop/pippo$ ./script.sh | sed -r 's/(.*)([0-9]{4})([^\t]+)\t\.\. .*([0-9]{4}).*$/[seq]\1####\3 (\2-\4)/g'
[seq]asd1234_####.tar.bz2 (0001-0003)
[seq]filename_v003_####.geo (0001-0007)
[seq]filename_v003_####.geo (0032-0036)
other_file
script.sh
[seq]testxxtest.####.exr (0057-0063)
etuardu@subranu:~/Desktop/pippo$

然后,您可以完全放入一个 bash 脚本并在您的 ~/.bashrc 中定义一个别名来调用它。

作为旁注,考虑到这是一个应该在大多数 *nix 系统上运行的纯 bash-ish 解决方案,但使用的工具并不真正适合该任务。您可以考虑使用python 等语言编写此脚本,以提高其可读性以及更高级别的字符串操作和模式匹配功能。

【讨论】:

  • 谢谢!我将尝试在 python 中执行此操作,但有一天会回来尝试并理解这一点。
猜你喜欢
  • 1970-01-01
  • 2023-03-22
  • 2011-10-28
  • 1970-01-01
  • 2015-08-05
  • 1970-01-01
  • 1970-01-01
  • 2020-02-18
相关资源
最近更新 更多