Tcl exec中的反斜杠问题

Question

我正在用 Tcl 编写一个数据导入脚本（从 SQL Server 到 Postgres），并且必须调用命令行 unix tr 来清除数据文件中的空字符。我将数据写入临时文件，然后使用exec 通过tr 处理文件。

我希望 Tcl 生成的 tr 调用在命令行上如下所示：

tr -d '\000' < blah >blah.notnull

我用来制作上面的 Tcl 代码是这样的，$STATE(TMP) 保存临时文件：

set ret [catch {exec tr -d '\\000' < $STATE(TMP) > $STATE(TMP).clean}]

但是，有时这不起作用并且 PostgreSQL COPY 由于 x00 个字符而失败。如果我在文件上运行命令行版本，则 COPY 成功。

有人可以帮助我理解 exec 调用以及引用和反斜杠吗？我有点难过。

错误信息，PG错误的重新格式化版本：

Problem with COPY on blahblah: PGRES_FATAL_ERROR, ERROR:  invalid byte sequence for encoding "UTF8": 0x00

令人讨厌的是，Tcl exec 代码经常有效，但并非总是如此。

（我们正在使用 Tcl、Linux、BCP、SQL 服务器等手动滚动导入系统，因为所有现成的工具都因我们的数据大小而失败。）

感谢所有阅读或回答的人！

Answer 1

问题是 Tcl 根本没有赋予单引号任何特殊含义。 Tcl 中的等价物是大括号，所以使用{\000} 而不是'\000'。使用您所写的内容，您发送了三个字符（一个'、一个NUL 和另一个'）作为该参数，这会导致各种麻烦，因为文字NUL 字符不如C 字符串好。

因此，您应该这样做：

exec tr -d {\000} < blah >blah.notnull

或：

set ret [catch {
    exec tr -d {\000} < $STATE(TMP) > $STATE(TMP).clean
}]

---

Tcl 也可以直接进行该操作。

# Read binary data
set f [open $STATE(TMP) "rb"]
set data [read $f]
close $f

# Write transformed binary data
set f [open $STATE(TMP).clean "wb"]
puts -nonewline $f [string map [list \u0000 ""] $data]
close $f

[编辑]：当要转换的数据量很大时，最好一次做一点。

set fIn [open $STATE(TMP) "rb"]
set fOut [open $STATE(TMP).clean "wb"]
while true {
    # 128kB chunk size; a bit arbitrary, but big enough to be OK
    set data [read $fIn 131072]
    # If we didn't read anything and instead got EOF, stop the loop
    if {[eof $fIn]} break
    puts -nonewline $fOut [string map [list \u0000 ""] $data]
}
close $fIn
close $fOut

您也可以使用 Tcl 8.6 通道转换来完成这项工作，然后 fcopy 将内容移过来，但性能不会有太大差异。