“cat << EOF”如何在 bash 中工作？

Question

我需要编写一个脚本来在程序中输入多行输入 (psql)。

经过一番谷歌搜索，我发现以下语法有效：

cat << EOF | psql ---params
BEGIN;

`pg_dump ----something`

update table .... statement ...;

END;
EOF

这会正确构造多行字符串（从BEGIN; 到END;，包括在内）并将其作为输入传递给psql。

但我不知道它是如何/为什么起作用的，有人可以解释一下吗？

我主要指的是cat << EOF，我知道> 输出到文件，>> 附加到文件，< 从文件中读取输入。

<< 到底是做什么的？

还有手册页吗？

Answer 1

cat <<EOF 语法在 Bash 中处理多行文本时非常有用，例如。将多行字符串分配给 shell 变量、文件或管道时。

cat <<EOF 在 Bash 中的语法用法示例：

1。将多行字符串分配给 shell 变量

$ sql=$(cat <<EOF
SELECT foo, bar FROM db
WHERE foo='baz'
EOF
)

$sql 变量现在也包含换行符。您可以通过echo -e "$sql" 进行验证。

2。将多行字符串传递给 Bash 中的文件

$ cat <<EOF > print.sh
#!/bin/bash
echo \$PWD
echo $PWD
EOF

print.sh 文件现在包含：

#!/bin/bash
echo $PWD
echo /home/user

3。将多行字符串传递给 Bash 中的管道

$ cat <<EOF | grep 'b' | tee b.txt
foo
bar
baz
EOF

b.txt 文件包含 bar 和 baz 行。相同的输出打印到stdout。

Answer 2

这被称为 heredoc 格式来提供一个字符串到标准输入。详情请见https://en.wikipedia.org/wiki/Here_document#Unix_shells。

---

来自man bash：

这里的文档

这种类型的重定向指示 shell 从 当前源直到一行 仅包含单词（没有尾随 空白）可见。

然后将读取到该点的所有行用作 命令的标准输入。

here-documents的格式为：

          <<[-]word
                  here-document
          delimiter

没有参数扩展、命令替换、算术扩展，或 路径名扩展在 单词。如果 word 中的任何字符是 引述 delimiter 是 word 上的引号删除的结果，并且行 here-document 中的内容未展开。 如果 word 没有被引用，则 here-document 进行参数扩展，命令 代换和算术 扩张。在后一种情况下， 字符序列\<newline> 是 忽略，\ 必须用于引用字符 \、$ 和 `。

如果重定向运算符是<<-，则所有前导制表符 从输入线和剥离 包含 分隔符 的行。这 允许 shell 脚本中的 here-documents 以自然的方式缩进。

Answer 3

在您的情况下，“EOF”被称为“Here Tag”。基本上<<Here 告诉shell 你要输入一个多行字符串，直到“标签”Here。你可以随意命名这个标签，通常是EOF或STOP。

关于Here标签的一些规则：

1. 标签可以是任何字符串，大写或小写，尽管大多数人习惯使用大写。
2. 如果该行中有其他单词，则该标签不会被视为Here标签。在这种情况下，它只会被视为字符串的一部分。标记应单独位于单独的行上，才能被视为标记。
3. 标签在该行中不应有前导或尾随空格，才能被视为标签。否则，它将被视为字符串的一部分。

示例：

$ cat >> test <<HERE
> Hello world HERE <-- Not by itself on a separate line -> not considered end of string
> This is a test
>  HERE <-- Leading space, so not considered end of string
> and a new line
> HERE <-- Now we have the end of the string

Answer 4

POSIX 7

kennytm 引用了 man bash，但其中大部分也是 POSIX 7：http://pubs.opengroup.org/onlinepubs/9699919799/utilities/V3_chap02.html#tag_18_07_04：

重定向运算符“

here-document 应被视为在下一个 <newline> 之后开始的单个单词，并一直持续到有一行仅包含分隔符和 <newline>，中间没有 <blank> 字符。然后下一个 here-document 开始，如果有的话。格式如下：

[n]<<word
    here-document
delimiter

其中可选的 n 表示文件描述符编号。如果省略数字，here-document 指的是标准输入（文件描述符 0）。

如果word中的任何字符被引用，则应通过对word进行引号去除形成分隔符，并且不应扩展here-document行。否则，分隔符应为单词本身。

如果word中没有字符被引用，则here-document的所有行都将被扩展以进行参数扩展、命令替换和算术扩展。在这种情况下，输入中的<backslash> 表现为双引号内的<backslash>（请参阅双引号）。但是，双引号字符 ('"' ) 不应在 here-document 中特殊处理，除非双引号出现在 "$()"、"``" 或 "${}" 中。

如果重定向符号为“<tab> 字符应从输入行和包含尾随分隔符的行中去除。如果在一行中指定了多个“

当从终端设备读取 here-document 并且 shell 是交互式的时，它应在读取每一行输入之前将变量 PS2 的内容写入标准错误，如 shell 变量中所述处理，直到分隔符被认出来了。

示例

一些例子还没有给出。

引号防止参数扩展

不带引号：

a=0
cat <<EOF
$a
EOF

输出：

0

带引号：

a=0
cat <<'EOF'
$a
EOF

或（丑陋但有效）：

a=0
cat <<E"O"F
$a
EOF

输出：

$a

连字符删除前导标签

没有连字符：

cat <<EOF
<tab>a
EOF

其中<tab> 是文字制表符，可以使用Ctrl + V <tab> 插入

输出：

<tab>a

带连字符：

cat <<-EOF
<tab>a
<tab>EOF

输出：

a

这当然存在，因此您可以像周围的代码一样缩进您的cat，这样更易​​于阅读和维护。例如：

if true; then
    cat <<-EOF
    a
    EOF
fi

不幸的是，这不适用于空格字符：POSIX 支持tab 缩进。哎呀。

Answer 5

使用 tee 代替 cat

不完全是原始问题的答案，但我还是想分享一下：我需要在需要 root 权限的目录中创建一个配置文件。

以下不适用于这种情况：

$ sudo cat <<EOF >/etc/somedir/foo.conf
# my config file
foo=bar
EOF

因为重定向是在 sudo 上下文之外处理的。

我最终改用了这个：

$ sudo tee <<EOF /etc/somedir/foo.conf >/dev/null
# my config file
foo=bar
EOF

Answer 6

对上述答案的一点扩展。尾随 > 将输入定向到文件中，覆盖现有内容。但是，一个特别方便的用法是追加的双箭头>>，将您的新内容添加到文件末尾，如下所示：

cat <<EOF >> /etc/fstab
data_server:/var/sharedServer/authority/cert /var/sharedFolder/sometin/authority/cert nfs
data_server:/var/sharedServer/cert   /var/sharedFolder/sometin/vsdc/cert nfs
EOF

这扩展了您的fstab，而您不必担心意外修改其任何内容。

Answer 7

长话短说，EOF 标记（但也可以使用不同的文字）是一种heredoc 格式，允许您以多行的形式提供输入。 很多困惑来自cat 看起来实际上是如何工作的。 您可以将cat 与>> 或> 一起使用，如下所示：

$ cat >> temp.txt
line 1
line 2

虽然cat 可以在手动写入控制台时以这种方式使用，但如果我想以更具声明性的方式提供输入以便工具可以重用它并保留缩进、空格等，这并不方便.
Heredoc 允许定义您的整个输入，就像您不使用 stdin 而是在单独的文本编辑器中输入一样。这就是Wikipedia文章的意思：

它是源代码文件的一部分，被视为 单独的文件。

Answer 8

这不一定是对原始问题的回答，而是分享我自己测试的一些结果。这个：

<<test > print.sh
#!/bin/bash
echo \$PWD
echo $PWD
test

将产生与以下相同的文件：

cat <<test > print.sh
#!/bin/bash
echo \$PWD
echo $PWD
test

所以，我看不出使用 cat 命令的意义。

Answer 9

请注意，cat

例子：

FOO="bar"

cat << \EOT > foobar.txt
echo "$FOO"
EOT

将输出： 回声 $FOO

同时：

FOO="bar"

cat << EOT > foobar.txt
echo "$FOO"
EOT

将输出： 回声“酒吧”

Answer 10

值得注意的是，这里的文档也可以在 bash 循环中工作。 这个例子展示了如何获取表格的列列表：

export postgres_db_name='my_db'
export table_name='my_table_name'

# start copy 
while read -r c; do test -z "$c" || echo $table_name.$c , ; done < <(cat << EOF | psql -t -q -d $postgres_db_name -v table_name="${table_name:-}"
SELECT column_name
FROM information_schema.columns
WHERE 1=1
AND table_schema = 'public'
AND table_name   =:'table_name'  ;
EOF
)
# stop copy , now paste straight into the bash shell ...

output: 
my_table_name.guid ,
my_table_name.id ,
my_table_name.level ,
my_table_name.seq ,

甚至不用换行

while read -r c; do test -z "$c" || echo $table_name.$c , | perl -ne 
's/\n//gm;print' ; done < <(cat << EOF | psql -t -q -d $postgres_db_name -v table_name="${table_name:-}"
 SELECT column_name
 FROM information_schema.columns
 WHERE 1=1
 AND table_schema = 'public'
 AND table_name   =:'table_name'  ;
 EOF
 )

 # output: daily_issues.guid ,daily_issues.id ,daily_issues.level ,daily_issues.seq ,daily_issues.prio ,daily_issues.weight ,daily_issues.status ,daily_issues.category ,daily_issues.name ,daily_issues.description ,daily_issues.type ,daily_issues.owner