在 Python 3 中将字符串转换为字节的最佳方法？

Question

似乎有两种不同的方法可以将字符串转换为字节，如TypeError: 'str' does not support the buffer interface的答案所示

这些方法中哪一种会更好或更Pythonic？还是只是个人喜好问题？

b = bytes(mystring, 'utf-8')

b = mystring.encode('utf-8')

Answer 1

如果您查看bytes 的文档，它会将您指向bytearray：

bytearray([source[, encoding[, errors]]])

返回一个新的字节数组。 bytearray 类型是 0

可选的源参数可用于以几种不同的方式初始化数组：

如果是字符串，还必须给出编码（以及可选的错误）参数； bytearray() 然后使用 str.encode() 将字符串转换为字节。

如果它是一个整数，则该数组将具有该大小，并将使用空字节进行初始化。

如果是符合buffer接口的对象，会使用该对象的只读缓冲区来初始化bytes数组。

如果是iterable，则必须是0

如果没有参数，则会创建一个大小为 0 的数组。

所以bytes 可以做的不仅仅是编码一个字符串。 Pythonic 允许您使用任何有意义的源参数类型调用构造函数。

对于字符串编码，我认为some_string.encode(encoding)比使用构造函数更Pythonic，因为它是最自我记录的——“取这个字符串并用这个编码编码”比bytes(some_string, encoding)更清楚——使用构造函数时没有显式动词。

我检查了 Python 源代码。如果你使用CPython将一个unicode字符串传递给bytes，它会调用PyUnicode_AsEncodedString，这是encode的实现；因此，如果您自己调用encode，您只是跳过了一个间接级别。

另外，请参阅 Serdalis 的评论——unicode_string.encode(encoding) 也更加 Pythonic，因为它的倒数是 byte_string.decode(encoding)，并且对称性很好。

Answer 2

这比想象的要容易：

my_str = "hello world"
my_str_as_bytes = str.encode(my_str)
type(my_str_as_bytes) # ensure it is byte representation
my_decoded_str = my_str_as_bytes.decode()
type(my_decoded_str) # ensure it is string representation

Answer 3

绝对最好的方法不是第 2 种，而是第 3 种。从 Python 3.0 开始，encode 的第一个参数 默认为 'utf-8'。因此最好的方法是

b = mystring.encode()

这也会更快，因为默认参数不会导致 C 代码中的字符串 "utf-8"，而是 NULL，这要快得多检查！

这里有一些时间安排：

In [1]: %timeit -r 10 'abc'.encode('utf-8')
The slowest run took 38.07 times longer than the fastest. 
This could mean that an intermediate result is being cached.
10000000 loops, best of 10: 183 ns per loop

In [2]: %timeit -r 10 'abc'.encode()
The slowest run took 27.34 times longer than the fastest. 
This could mean that an intermediate result is being cached.
10000000 loops, best of 10: 137 ns per loop

尽管有警告，但重复运行后时间非常稳定 - 偏差仅为约 2%。

---

使用不带参数的encode() 与 Python 2 不兼容，因为在 Python 2 中默认字符编码是 ASCII。

>>> 'äöä'.encode()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0: ordinal not in range(128)

Answer 4

回答一个稍微不同的问题：

你有一个原始的 unicode 序列被保存到一个 str 变量中：

s_str: str = "\x00\x01\x00\xc0\x01\x00\x00\x00\x04"

您需要能够获取该 unicode 的字节文字（用于 struct.unpack() 等）

s_bytes: bytes = b'\x00\x01\x00\xc0\x01\x00\x00\x00\x04'

解决方案：

s_new: bytes = bytes(s, encoding="raw_unicode_escape")

参考（向上滚动查看标准编码）：

Python Specific Encodings