使用 sed 或 awk 修复日期格式

Question

我正在尝试使用 bash 脚本将包含表格的 HTML 转换为 .csv 文件。

到目前为止，我已经完成了以下步骤：

1. 转换为 Unix 格式（使用dos2unix）
2. 删除所有空格和制表符（使用sed 's/[ \t]//g'）
3. 删除所有空行（使用sed ':a;N;$!ba;s/\n//g'）（这是必要的，因为 HTML 文件中表格的每个单元格都有一个空行...这不是我的错）
4. 删除不必要的<td> 和<tr> 标签（带有sed 's/<t.>//g'）
5. 将</td> 替换为“,”（使用sed 's/<\/td/,/g'）
6. 将 </tr> 替换为行尾 (\n) 字符（使用 sed 's/<\/tr/\n/g'）

当然，我将所有这些都放在一个管道中。到目前为止，它工作得很好。我坚持最后一步：表格有一个日期列，格式为dd/mm/yyyy，我想将它们转换为yyyy-mm-dd。

有没有（简单的）方法（使用sed 或awk）？

数据样本（在整个sed 管道之后）：

500,2,13/09/2007,30000.00,12,B-1
501,2,15/09/2007,14000.00,8,B-2

预期结果：

500,2,2007-09-13,30000.00,12,B-1
501,2,2007-09-15,14000.00,8,B-2

我需要这样做的原因是因为我需要将这些数据导入 MySQL。我可以在 Excel 中打开文件并手动更改格式，但我想跳过它。

Answer 1

sed "s:,\([0-9]\+\)/\([0-9]\+\)/\([0-9]\+\),:,\3-\2-\1,:"

Answer 2

Awk 可以轻松完成这项任务：

awk '
    BEGIN { FS = OFS = "," } 
    { split($3, date, /\//)
      $3 = date[3] "-" date[2] "-" date[1]
      print $0 
    }
' infile

它产生：

500,2,2007-09-13,30000.00,12,B-1
501,2,2007-09-15,14000.00,8,B-2

Answer 3

awk 可以解决这个问题：

echo 08/26/2013 | awk -F/ '{printf "%s-%s-%s\n",$3,$2,$1}'

这些bash-only 选项之一也是如此：

IFS=/ read m d y < <(echo 08/26/2013); echo "${y}-${m}-${d}"
IFS=/ read m d y <<< "08/26/2013"; echo "${y}-${m}-${d}"

如果您碰巧使用ksh，其中子shell 不用于管道的最后一个组件，这应该也可以：

echo 08/26/2013 | IFS=/ read m d y; echo "${y}-${m}-${d}"

在最近的bash 中，您还可以在脚本中使用shopt -s lastpipe 以使上述调用也能正常工作，但它不能在命令行上工作（感谢下面cmets 中的@mklement0）。

我会留给你弄清楚如何将它与其余部分集成......

Answer 4

sed -E 's,([0-9]{2})/([0-9]{2})/([0-9]{4}),\3-\2-\1,g'

Answer 5

对 awk 的更正假设您寻求 yyyy-mm-dd（不是 yyyy-dd-mm）

回声 08/26/2013 | awk -F/ '{printf "%s-%s-%s\n",$3,$1,$2}'

Answer 6

到目前为止，所有答案都非常针对 OP 的问题。这是一种更通用的方法，运行（GNU，用于-d 选项）date 到awk：

awk 'BEGIN{FS=","}
     {
       "date -d\"" $3 "\" +%Y-%m-%d" | getline mydate; 
       print $1 "," $2 "," mydate "," $4 "," $5 "," $6
     }'

当然，只有当输入日期格式由date 处理时，这种方法才能正常工作。 AFAICS 不幸的是，dd/mm/yyyy 并非如此。可以尝试other commands 而不是date（未测试）。

编辑：实施 mklement0 的评论。

Edit2：实际上这不适用于 mawk，这是 Debian 默认的 awk 实现。明显的解决方案是尽可能安装gawk。