【发布时间】:2016-10-19 19:22:23
【问题描述】:
我有一些巨大的 csv 日志(很多列和行),我需要修改如下:
- 删除前两行
- 删除最后一行
- 删除一些列
- 用 md5sum 替换某些列的值
对于第 (1) 和 (2) 点,我认为它可能适合这种方法:
tail -n +3 file.csv > temp_file.csv
mv temp_file.csv file.csv
head -n -1 file.csv > temp_file.csv
mv temp_file.csv file.csv
对于第 (3) 点,它应该是(假设我要删除第 5 列和第 25 列):
cut -d , -f 1-4,6-24,26- file.csv
对于第(4)点我不知道:|
【问题讨论】:
-
提取列的值,对其调用 md5sum,并使用
sed将值替换为 md5。坦率地说,使用 python 会简单 1000 倍。 -
awk可能是最好的解决方案。您可以在一个脚本中完成所有 4 个步骤。