如何在 python 3 中实现字节对象的 sprintf 样式格式？

Question

我想在 python3 上使用原始字节对象执行 sprintf，而无需为 %s 进行任何手动转换。因此，将字节对象作为“模板”，加上任意数量的任何类型的对象并返回渲染的字节对象。这就是 python 2 的 sprintf % 运算符一直以来的工作方式。

b'test %s %s %s' % (5, b'blah','strblah') # python3 ==> error
Traceback (most recent call last):
  File "<input>", line 1, in <module>
TypeError: %b requires bytes, or an object that implements __bytes__, not 'int'

def to_bytes(arg):
    if hasattr(arg,'encode'): return arg.encode()
    if hasattr(arg,'decode'): return arg
    return repr(arg).encode()

def render_bytes_template(btemplate : bytes, *args):
    return btemplate % tuple(map(to_bytes,args))

render_bytes_template(b'this is how we have to write raw strings with unknown-typed arguments? %s %s %s',5,b'blah','strblah')

# output: b'this is how we have to render raw string templates with unknown-typed arguments? 5 blah strblah'

但在 python 2 中，它只是内置的：

'example that just works %s %s %s' % (5,b'blah',u'strblah')
# output: 'example that just works 5 blah strblah'

有没有办法在 python 3 中做到这一点，但仍能达到与 python 2 相同的性能？请告诉我我错过了什么。这里的后备是在 cython 中实现（或者是否有 Python 3 的库可以帮助实现这一点？）但除了字符串对象的隐式编码之外，仍然没有看到为什么它从标准库中删除。我们不能只添加一个像 format_any() 这样的字节方法吗？

顺便说一句，这可没这么简单：

def render_bytes_template(btemplate : bytes, *args):
    return (btemplate.decode() % args).encode()

我不仅不想做任何不必要的编码/解码，而且字节参数是repr'd而不是被原始注入。

Answer 1

我想在 python3 上使用原始字节对象执行 sprintf，而无需为 %s 进行任何手动转换。

为此，所有格式参数也需要已经是bytes。

自从 Py2 允许将 unicode 字符串格式化为字节字符串后，这种情况发生了变化，因为一旦引入带有 unicode 字符的 unicode 字符串，Py2 实现就容易出错。

例如，在 Python 2 上：

In [1]: '%s' % (u'é',)
Out[1]: u'\xe9'

从技术上讲，这是正确的，但不是开发人员的意图。它也不考虑使用的任何编码。

在 Python 3 OTOH 中：

In [2]: '%s' % ('é',)
Out[2]: 'é'

对于格式化字节字符串，使用字节字符串参数（仅限 Py3.5+）

b'%s %s' % (b'blah', 'strblah'.encode('utf-8'))

整数等其他类型也需要转换为字节字符串。

Answer 2

这样的东西对你有用吗？您只需要确保在开始某个 bytes 对象时将其包装在新的 B 类似字节的对象中，该对象重载了 % 和 %= 运算符：

class B(bytes):
    def __init__(self, template):
        self._template = template

    @staticmethod
    def to_bytes(arg):
        if hasattr(arg,'encode'): return arg.encode()
        if hasattr(arg,'decode'): return arg
        return repr(arg).encode()

    def __mod__(self, other):
        if hasattr(other, '__iter__') and not isinstance(other, str):
            ret = self._template % tuple(map(self.to_bytes, other))
        else: 
            ret = self._template % self.to_bytes(other)
        return ret

    def __imod__(self, other):
        return self.__mod__(other)

a = B(b'this %s good')
b = B(b'this %s %s good string')
print(a % 'is')
print(b % ('is', 'a'))

a = B(b'this %s good')
a %= 'is'
b = B(b'this %s %s good string')
b %= ('is', 'a')
print(a)
print(b)

这个输出：

b'this is good'
b'this is a good string'
b'this is good'
b'this is a good string'