对一个非常大的文件进行字符串替换

Question

我有一个巨大的 JSON 文本文件。你可以在这里看到它：http://api.mtgdb.info/cards/。我已将此 JSON 保存到名为 cards.json 的文件中。

在cards.json 中，我需要使用反斜杠\ 转义每个单引号'。

所以我需要将' 替换为\'。

通常这在任何编辑器中都是微不足道的，但是文件太大了。 如何转义此字符串中的所有单引号？

我的尝试：

1. 我尝试使用sed。我的命令是sed s/\'/\\\'/ cards.json > cards_cleaned.json。然而，cards_cleaned.json 文件没有任何转义的'，它只是cards.json 的精确副本。当我做sed s/\'/foobar/ cards.json > cards_cleaned.json 时，Sed 有效，所以我假设我的转义反斜杠有问题。

2. 我尝试使用vim。我在 vim $ vi cards.json 中打开了cards.json。然后我尝试使用:%s/'/\'/g 进行全局字符串替换。这并没有改变文件中的任何内容。

Answer 1

在 Vi 中，您需要转义 \ 字符。

尝试使用

:%s/'/\\'/g

对我来说它有效。

Test.txt

\'\'\'\'\'\'

Answer 2

sed "s/'/\\\\&/g" cards.json > cards_cleaned.json

• 不需要你的第一个转义搜索模式\'
• 您应该用双引号括起来（如果单引号不是要更改的字符，则使用单引号）并由于在这种情况下在 shell 级别使用双引号而转义转义

Answer 3

你需要双重转义 backelas，所以使用：

sed -i.bak "s/'/\\\\'/g" cards.json

Answer 4

你需要在shell中使用双引号来避免引用单引号字符，但是你必须小心，因为shell对于双引号字符串，使用反斜杠作为引号字符

$ echo "eoieriou'iouou'oiuiouiuo"|sed "s/'/\\'/g"
eoieriou'iouou'oiuiouiuo

sed 尝试执行的命令是 s/'/\'/g 但 sed 引号字符是反斜杠，因此您可以用单引号替换每个单引号...

我们必须在反斜杠到达sed 时引用它也，所以让我们试试

$ echo "eoieriou'iouou'oiuiouiuo"|sed "s/'/\\\\'/g"  # Four (4) backslashes in a row
eoieriou\'iouou\'oiuiouiuo
$ 

没关系，不是吗？因为sed 被指示执行s/'/\\'/g，所以sed 的POV 中的引用字符本身就是反斜杠...

请注意，单引号或双引号不是 sed 的 POV 中的特殊字符，它们仅在 shell 上下文中是特殊的。

Answer 5

你可以像这样在 vim 中使用。

 :%s/'/\\\'/g

在 sed 中，

 sed "s/'/\\\'/g" filename

Answer 6

这是awk 版本：

cat file
hi'more data here'

awk '{gsub(g,"\\"g)}1' g="'" file
hi\'more data here\'

或者如果你需要双反斜杠：

awk '{gsub(g,"\\\\"g)}1' g="'" file
hi\\'more data here\\'

Answer 7

虽然@anubhava 或@gboffi 的答案有效，但它们会生成INVALID JSON。

JSON allows onlybackslash 后面的几个字符：

\"
\\
\/
\b
\f
\n
\r
\t
\u four-hex-digits

例如以下原始（正确）JSON的部分

[
   {
      "description" : "Whenever a land enters the battlefield, Ankh of Mishra deals 2 damage to that land's controller.",
      "rarity" : "Rare",
      "name" : "Ankh of Mishra"
   }
]

你想得到

[
   {
      "description" : "Whenever a land enters the battlefield, Ankh of Mishra deals 2 damage to that land\'s controller.",
      "rarity" : "Rare",
      "name" : "Ankh of Mishra"
   }
]
#e.g. instead of the land's want land\'s

但这是一个无效的 JSON。

所以，如果你（出于某种奇怪的原因）想要backslash，你需要使用双\\，例如：

[
   {
      "description" : "Whenever a land enters the battlefield, Ankh of Mishra deals 2 damage to that land\\'s controller.",
      "rarity" : "Rare",
      "name" : "Ankh of Mishra"
   }
]

解决方案（两者都适用）

perl

perl -pE "s/'/\\\'/g" < mtg_cards.json > cards.malformed.json
#changes "land's" to wrong "land\'s"

和

perl -pE "s/'/\\\\'/g" < mtg_cards.json > card_with_double_BS.json
#changes "land's" to "land\\s"

Ps：因为你的文件只有一个长 (30MB) 行，vim 有一些问题。您可以在编辑之前漂亮地打印（折叠和缩进）JSON。这里有很多工具，我正在使用来自JSON_XS perl 包的json_xs 命令。在“美化”之后，您可以安全地使用vim。