如何将二进制数据存储在 Lua 字符串中

Question

我需要创建一个包含嵌入元信息的自定义文件格式。我决定只使用 Lua，而不是创建自己的格式。

texture
{
   format=GL_LUMINANCE_ALPHA;
   type=GL_UNSIGNED_BYTE;
   width=256;
   height=128;
   pixels=[[
<binary-data-here>]];
}

texture 是一个以表为唯一参数的函数。然后它在表中按名称查找各种参数，并将调用转发到 C++ 例程。我希望没有任何异常。

有时文件无法解析并出现以下错误：

my_file.lua:8: unexpected symbol near ']'

这是怎么回事？
有没有更好的方法在 Lua 中存储二进制数据？

---

更新

原来存储二进制数据的Lua字符串是non-trivial。但是在处理 3 个序列时是可能的。

• Long-format-string-literals 不能有嵌入的 close-long-bracket（]]、]=] 等）。
  这个很明显。

• Long-format-string-literals 不能以 ]== 之类的结尾，这将匹配所选的 closure-long-bracket。
  这个比较微妙。幸运的是，如果执行错误，脚本将无法编译。

• 数据不能嵌入\n或\r。
  Lua 的built in line-end processing 把这些搞砸了。这个问题要微妙得多。该脚本可以正常编译，但会产生错误的数据。 0x13 => 0x10、0x1013 => 0x10 等

为了解决这些限制，我将二进制数据拆分为\r、\n，然后选择一个有效的长括号，最后发出将各个部分连接在一起的 Lua。我使用了一个为我执行此操作的脚本。
输入：XXXX\nXX]]XX\r\nXX]]XX]=

texture
{
  --other fields omitted      
  pixels= '' ..
     [[XXXX]] ..
     '\n' ..
     [=[XX]]XX]=] ..
     '\r\n' ..
     [==[XX]]XX]=]==];
}

Answer 1

Lua 能够以长括号格式编码大多数字符，包括空值。但是，Lua 以文本模式打开脚本文件，这会导致一些问题。在我的 Windows 系统上，以下字符有问题：

字符代码问题 -------------- ------------------- 13 (CR) 被翻译成 10 (LF) 13 10 (CR LF) 被翻译成 10 (LF) 26（EOF）导致“''附近未完成的长字符串”

如果您不使用 Windows，则这些可能不会导致问题，但可能存在基于不同文本模式的问题。

---

我只能通过编码多个右括号来产生您收到的错误：

a=[[
]]] --> a.lua:2: unexpected symbol near ']'

但是，这很容易通过以下方式解决：

a=[==[
]]==]

Answer 2

二进制数据需要编码成可打印的字符。用于解码的最简单方法是对所有字节使用C-like escape sequences。例如，十六进制字节 13 41 42 1E 将被编码为 '\19\65\66\30'。当然，那么编码后的数据要比源二进制大三到四倍。

或者，您可以使用 Base64 之类的东西，但这必须在运行时进行解码，而不是依赖 Lua 解释器。就个人而言，我可能会走 Base64 路线。有Lua examples of Base64 encoding and decoding。

另一种选择是有两个文件。使用定义明确的图像格式文件（例如TGA），该文件由带有附加元数据的单独 Lua 脚本指向。如果您不想移动两个文件，则可以将它们合并为 archive。