"sed" 特殊字符处理

Question

我们的脚本中有一个 sed 命令，用变量中的值替换文件内容

例如..

export value="dba01upc\Fusion_test"
sed -i "s%{"sara_ftp_username"}%$value%g" /home_ldap/user1/placeholder/Sara.xml

sed 命令会忽略特殊字符，如 '\' 并用不带 '\' 的字符串“dba01upcFusion_test”替换 如果我像 export value='dba01upc\Fusion_test' （'\' 用 '' 包围）那样进行导出，它可以工作。但不幸的是，我们的客户想要用单引号/双引号导出原始文本 dba01upc\Fusion_test 而他没有'不想在文本中添加任何额外的字符。 谁能告诉我如何让 sed 放置带有特殊字符的文本..

替换前：Sara.xml

<?xml version="1.0" encoding="UTF-8"?>
<ser:service-account >
<ser:description/>
<ser:static-account>
<con:username>{sara_ftp_username}</con:username>
</ser:static-account>
</ser:service-account>

替换后：Sara.xml

<?xml version="1.0" encoding="UTF-8"?>
<ser:service-account>
<ser:description/>
<ser:static-account>
<con:username>dba01upcFusion_test</con:username>
</ser:static-account>
</ser:service-account>

提前致谢

Answer 1

您无法使用 sed 稳健地解决此问题。只需使用 awk 代替：

awk -v old="string1" -v new="string2" '
idx = index($0,old) {
    $0 = substr($0,1,idx-1) new substr($0,idx+length(old))
}
1' file

啊，@mklement0 有一个好点子 - 要阻止转义符被解释，您需要传入 arg 列表中的值以及文件名，然后从中分配变量，而不是使用-v（请参阅我很久以前在http://cfajohnson.com/shell/cus-faq-2.html#Q24 为 comp.unix.shell 常见问题解答编写的摘要，但显然已经忘记了！）。

以下内容将有力地对每行找到的每个搜索字符串进行所需的替换 (a\ta -> e\tf)：

$ cat tst.awk
BEGIN {
    old=ARGV[1]; delete ARGV[1]
    new=ARGV[2]; delete ARGV[2]
    lgthOld = length(old)
}
{
    head = ""; tail = $0
    while ( idx = index(tail,old) ) {
        head = head substr(tail,1,idx-1) new
        tail = substr(tail,idx+lgthOld)
    }
    print head tail
}

$ cat file
a\ta    a       a       a\ta

$ awk -f tst.awk 'a\ta' 'e\tf' file
e\tf    a       a       e\tf

file 中的空白是制表符。您可以根据需要将 ARGV[3] 向下移动并调整 ARGC，但在大多数情况下没有必要。

Answer 2

更新事后诸葛亮，提出选项：

• 更新 2：如果您打算使用 sed，请参阅下面的 - 有点繁琐，但现在强大且通用的 - 解决方案。
• 如果您想要一个稳健、自包含的awk 解决方案，该解决方案还可以正确处理任意搜索和替换字符串（但不能包含诸如单词边界断言之类的正则表达式功能），请参阅@987654321 @。
• 如果您想要纯bash 解决方案并且您的输入文件很小并且保留多个尾随换行符并不重要，请参阅Charles Duffy's answer。

• 如果您想要一个成熟的第三方模板解决方案，例如，考虑j2cli，一个用于Jinja2 的模板CLI - 如果您有Python 和 pip，使用 sudo pip install j2cli 安装。
  简单示例（请注意，由于替换字符串是通过 file 提供的，因此这可能不适用于敏感数据；请注意 double 大括号 ({{...}})）：

  value='dba01upc\Fusion_test'
  echo "sara_ftp_username=$value" >data.env
  echo '<con:username>{{sara_ftp_username}}</con:username>' >tmpl.xml
  j2 tmpl.xml data.env # -> <con:username>dba01upc\Fusion_test</con:username>
  

---

如果您使用sed，则需要仔细转义搜索字符串和替换字符串，因为：

• 正如 Ed Morton 在其他地方的评论中指出的那样，sed 不支持将 literal 字符串用作替换字符串 - 它总是 解释 中的特殊字符/序列替换字符串。
• 同样，search 字符串文字必须以不会将其字符误认为特殊正则表达式字符的方式进行转义。

以下使用两个通用帮助函数来执行此转义（引用），它们应用了"Is it possible to escape regex characters reliably with sed?" 中解释的技术：

#!/usr/bin/env bash

# SYNOPSIS
#   quoteRe <text>
# DESCRIPTION
#   Quotes (escapes) the specified literal text for use in a regular expression,
#   whether basic or extended - should work with all common flavors.
quoteRe() { sed -e 's/[^^]/[&]/g; s/\^/\\^/g; $!a\'$'\n''\\n' <<<"$1" | tr -d '\n'; }

# '

# SYNOPSIS
#  quoteSubst <text>
# DESCRIPTION
#  Quotes (escapes) the specified literal string for safe use as the substitution string (the 'new' in `s/old/new/`).
quoteSubst() {
  IFS= read -d '' -r < <(sed -e ':a' -e '$!{N;ba' -e '}' -e 's/[&/\]/\\&/g; s/\n/\\&/g' <<<"$1")
  printf %s "${REPLY%$'\n'}"    
}

# The search string.
search='{sara_ftp_username}'

# The replacement string; a demo value with characters that need escaping.
value='&\1%"'\'';<>/|dba01upc\Fusion_test'

# Use the appropriately escaped versions of both strings.
sed "s/$(quoteRe "$search")/$(quoteSubst "$value")/g" <<<'<el>{sara_ftp_username}</el>'

# -> <el>&\1%"';<>/|dba01upc\Fusion_test</el>

• quoteRe() 和quoteSubst() 都能正确处理多行字符串。
  • 但是请注意，鉴于sed 默认情况下一次读取单 行，将quoteRe() 与多行字符串一起使用仅在显式读取的sed 命令中有意义一次多（或所有）行。
• quoteRe() 总是安全地使用命令替换 ($(...))，因为它总是返回一个 单行 字符串（换行符）在输入中被编码为'\n')。
• 相比之下，如果您将 quoteSubst() 与带有 尾随换行符的字符串一起使用，则不得使用 $(...)，因为后者将删除最后一个尾随换行符并因此破坏编码（因为quoteSubst()\-转义实际换行符，返回的字符串将以悬空\结尾）。
  • 因此，对于带有尾随换行符的字符串，首先使用IFS= read -d '' -r escapedValue < <(quoteSubst "$value") 将转义值读入单独的变量，然后在sed 命令中使用该变量。

Answer 3

这可以单独使用 bash 内置函数来完成 -- 没有 sed、没有 awk 等。

orig='{sara_ftp_username}'               # put the original value into a variable
new='dba01upc\Fusion_test'               # ...no need to 'export'!

contents=$(<Sara.xml)                    # read the file's content into
new_contents=${contents//"$orig"/$new}   # use parameter expansion to replace
printf '%s' "$new_contents" >Sara.xml    # write new content to disk

有关使用参数扩展进行字符串替换的信息，请参阅the relevant part of BashFAQ #100。