如何在 Unix 行尾转换 Windows 行尾（CR/LF 到 LF）

Question

我是一名 Java 开发人员，我正在使用 Ubuntu 进行开发。该项目是在 Windows 中使用 Eclipse 创建的，它使用 Windows-1252 编码。

为了转换为 UTF-8，我使用了 recode 程序：

find Web -iname \*.java | xargs recode CP1252...UTF-8

这个命令给出了这个错误：

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data

我已经搜索过它并在 Bash and Windows, Recode: Ambiguous output in step `data..CR-LF' 中找到了解决方案，它说：

将行尾从 CR/LF 转换为 单个 LF：用 Vim 编辑文件， 发出命令:set ff=unix 并保存 文件。现在重新编码应该运行 没有错误。

很好，但是我有很多文件要从中删除 CR/LF 字符，而且我无法打开每个文件来执行此操作。 Vi 没有为 Bash 操作提供任何命令行选项。

可以使用 sed 来执行此操作吗？怎么样？

Answer 1

jichao's answer 有一点例外。你实际上可以很容易地完成他刚才所说的一切。无需寻找\n，只需在行尾寻找回车即可。

sed -i 's/\r$//' "${FILE_NAME}"

要从 Unix 切换回 DOS，只需查找该行的最后一个字符并为其添加换页符。 （我将添加 -r 以便使用 grep 正则表达式更轻松。）

sed -ri 's/(.)$/\1\r/' "${FILE_NAME}"

理论上，可以通过在最后一个示例中添加代码来将文件更改为 Mac 样式，该示例还将下一行输入附加到第一行，直到所有行都已处理完毕。不过，我不会在这里举这个例子。

警告： -i 更改实际文件。如果要进行备份，请在-i 之后添加一串字符。这会将现有文件移动到具有相同名称的文件中，并在末尾添加您的字符。

更新： Unix 到 DOS 的转换可以被简化并提高效率，无需费心寻找最后一个字符。这也允许我们不需要使用 -r 来工作：

sed -i 's/$/\r/' "${FILE_NAME}"

Answer 2

实际上，Vim 确实允许您查找所需的内容。进入 Vim，然后输入以下命令：

:args **/*.java
:argdo set ff=unix | update | next

这些命令中的第一个命令将参数列表设置为与**/*.java 匹配的每个文件，即所有Java 文件，递归。这些命令中的第二个依次对参数列表中的每个文件执行以下操作：

• 将行尾设置为 Unix 样式（你已经知道了）
• 写出文件iff它已被更改
• 继续下一个文件

Answer 3

sed 不能匹配\n，因为在将行放入模式空间之前删除了尾随换行符，但它可以匹配\r，因此您可以将\r\n (DOS) 转换为\n ( Unix) 通过删除 \r:

sed -i 's/\r//g' file

警告：这将改变原始文件

但是，您不能由此从 Unix EOL 更改为 DOS 或旧 Mac (\r)。更多阅读：

How can I replace a newline (\n) using sed?

Answer 4

为了克服

Ambiguous output in step `CR-LF..data'

简单的解决方案可能是添加-f 标志来强制转换。

Answer 5

试试Python script by Bryan Maupin found here（我稍微修改了一下使其更通用）：

#!/usr/bin/env python

import sys

input_file_name = sys.argv[1]
output_file_name = sys.argv[2]

input_file = open(input_file_name)
output_file = open(output_file_name, 'w')

line_number = 0

for input_line in input_file:
    line_number += 1
    try:  # first try to decode it using cp1252 (Windows, Western Europe)
        output_line = input_line.decode('cp1252').encode('utf8')
    except UnicodeDecodeError, error:  # if there's an error
        sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
        try:  # then if that fails, try to decode using latin1 (ISO 8859-1)
            output_line = input_line.decode('latin1').encode('utf8')
        except UnicodeDecodeError, error:  # if there's an error
            sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
            sys.exit(1)  # and just keep going
    output_file.write(output_line)

input_file.close()
output_file.close()

您可以将该脚本用于

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql

Answer 6

tr 命令也可以这样做：

tr -d '\15\32' < winfile.txt > unixfile.txt

并且应该可供您使用。

您需要在脚本中运行 tr，因为它不能使用文件名。例如，创建一个文件 myscript.sh：

#!/bin/bash

for f in `find -iname \*.java`; do
    echo "$f"
    tr -d '\15\32' < "$f" > "$f.tr"
    mv "$f.tr" "$f"
    recode CP1252...UTF-8 "$f"
done

运行myscript.sh 将处理当前目录及其子目录中的所有java文件。

Answer 7

应该有一个名为dos2unix 的程序会为您修复行尾。如果它还没有在你的 Linux 机器上，它应该可以通过包管理器获得。

Answer 8

返回 Windows，告诉 Eclipse 将编码更改为 UTF-8，然后返回 Unix 并在文件上运行 d2u。