【问题标题】:linux cat files in a folder after specific date piped with awk特定日期后文件夹中的 linux cat 文件使用 awk 管道传输
【发布时间】:2017-02-12 18:35:30
【问题描述】:

我在一个文件夹中有数千个文件,我必须从指定的测试开始对文件进行分类。但是我的文件以相同的文本开头但日期不同,我必须在我提到的日期之后打印(cat)具有指定起始文本的文件。

hdfs dfs -cat /tmp/folder1/region_1101_*_summary_*/part* | awk '$1 == "NumOfMissingIds" {print $2}'

期待将日期部分结合到命令中的建议。

【问题讨论】:

  • 我不会使用 awk 进行日期比较,但 Python 似乎更适合这个问题。
  • *在不同的日期/时间创建多个文件夹的可能性**用 region_1101 说明。因此,在某个创建日期/时间之后,任何可能在路径 /tmp/folder1/region_1101__summary_ 下的每个文件(part*)中使用提到的搜索词(NumOfMissingIds)获取文件内容。 @Serge Ballesta

标签: linux date awk hdfs cat


【解决方案1】:

大概是这样的:

awk 'BEGIN {out = 0} 
  /startpattern/ {out = 1}
  $1 == "NumOfMissingIds" { if (out) print $2 }'

【讨论】:

  • 可以使用 region_1101* 在不同的日期/时间创建多个文件夹。因此,在某个创建日期/时间之后,任何可能在路径 /tmp/folder1/region_1101__summary_ 下的每个文件(part*)中使用提到的搜索词 (NumOfMissingIds) 获取文件内容。
猜你喜欢
  • 2014-07-27
  • 2015-01-08
  • 2020-09-29
  • 1970-01-01
  • 1970-01-01
  • 2015-10-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多