Java和Python之间不可变字符串连接的性能比较

Question

更新：非常感谢 Gabe 和 Glenn 的详细解释。该测试不是为了语言比较基准而编写的，只是为了学习VM优化技术。

我做了一个简单的测试来了解 Java 和 Python 之间字符串连接的性能。

测试是两种语言中默认不可变字符串对象/类型的目标。所以我在 Java 测试中不使用 StringBuilder/StringBuffer。

测试只是简单地添加了 100k 次字符串。 Java 大约需要 32 秒来完成，而 Python 只使用大约 13 秒来处理 Unicode 字符串和 0.042 秒来处理非 Unicode 字符串。

我对结果有点惊讶。我认为 Java 应该比 Python 更快。 Python 利用什么优化技术来实现更好的性能？还是Java中String对象设计的太重了？

操作系统：Ubuntu 10.04 x64 JDK：孙 1.6.0_21 Python：2.6.5

Java 测试确实使用 -Xms1024m 来最小化 GC 活动。

Java 代码：

public class StringConcateTest {
public static void test(int n) {
    long start = System.currentTimeMillis();
    String a = "";
    for (int i = 0; i < n; i++) {
        a = a.concat(String.valueOf(i));
    }
    long end = System.currentTimeMillis();
    System.out.println(a.length() + ", time:" + (end - start));
}

public static void main(String[] args) {
    for (int i = 0; i < 10; i++) {
        test(1000 * 100);           
    }
}

}

Python 代码：

import time
def f(n):
    start = time.time()
    a = u'' #remove u to use non Unicode string
    for i in xrange(n):
        a = a + str(i)
    print len(a), 'time', (time.time() - start)*1000.0
for j in xrange(10):
    f(1000 * 100)

Answer 1

@Gabe 的回答是正确的，但需要清楚地表明而不是假设。

CPython（可能只有 CPython）会在可能的情况下进行就地字符串追加。什么时候可以这样做是有限制的。

首先，它不能用于实习字符串。这就是为什么如果您使用a = "testing"; a = a + "testing" 进行测试，您将永远不会看到这一点，因为分配字符串文字会产生一个实习字符串。您必须动态创建字符串，就像这段代码对str(12345) 所做的那样。 （这并没有太大的限制；一旦您以这种方式进行追加，result 就是一个非内部字符串，因此如果您在循环中追加字符串文字，这只会在第一次发生。 )

其次，Python 2.x 仅对 str 执行此操作，而不是 unicode。 Python 3.x 对 Unicode 字符串执行此操作。这很奇怪：这是一个主要的性能差异——复杂性的差异。这不鼓励在 2.x 中使用 Unicode 字符串，而他们应该鼓励它来帮助过渡到 3.x。

最后，不能有其他对字符串的引用。

>>> a = str(12345)
>>> id(a)
3082418720
>>> a += str(67890)
>>> id(a)
3082418720

这解释了为什么非 Unicode 版本在您的测试中比 Unicode 版本快得多。

实际代码是Python/ceval.c 中的string_concatenate，适用于s1 = s1 + s2 和s1 += s2。 Objects/stringobject.c 中的函数 _PyString_Resize 也明确表示：以下函数打破了字符串不可变的概念。另见http://bugs.python.org/issue980695。

Answer 2

我用 StringBuilder 代替 String 运行 Java 代码，发现平均完成时间为 10 毫秒（最高 34 毫秒，最低 5 毫秒）。

至于 Python 代码，使用“方法 6”here（发现是最快的方法），我能够使用 unicode 字符串实现平均 84 毫秒（高 91 毫秒，低 81 毫秒）。使用非 unicode 字符串将这些数字减少了约 25 毫秒。

因此，基于这些高度不科学的测试可以说，使用最快的字符串连接方法，Java 大约比 Python 快一个数量级。

但我还是

Answer 3

我的猜测是 Python 只是在字符串上执行realloc，而不是用旧字符串的副本创建一个新字符串。由于realloc在分配后有足够的空闲空间时不会花费时间，因此非常快。

那么为什么 Python 可以调用 realloc 而 Java 不能呢？ Python 的垃圾收集器使用引用计数，因此它可以判断没有其他人在使用该字符串，并且字符串是否发生变化也无关紧要。 Java 的垃圾收集器不维护引用计数，因此它无法判断对字符串的任何其他引用是否存在，这意味着它别无选择，只能在每次连接时创建字符串的全新副本。

编辑：虽然我不知道 Python 确实会在 concat 上调用 realloc，但下面是 stringobject.c 中 _PyString_Resize 的注释，说明了它为什么可以：

以下函数打破了字符串不可变的概念： 它改变了字符串的大小。我们只有在有的情况下才能逃脱 只是引用该对象的一个​​模块。你也可以想到 就像创建一个新的字符串对象并销毁旧的一样，只有 更有效率。在任何情况下，如果字符串可能，请不要使用它 代码的其他部分已经知道...

Answer 4

我不确定答案。但这里有一些想法。首先，Java 在内部将字符串存储为 char [] 数组，其中包含字符串的 UTF-16 编码。这意味着字符串中的每个字符至少占用两个字节。因此，仅就原始存储而言，Java 必须复制的数据量大约是 python 字符串的两倍。 Python unicode 字符串因此是更好的测试，因为它们具有类似的能力。也许 python 将 unicode 字符串存储为 UTF-8 编码字节。在这种情况下，如果您在其中存储的所有内容都是 ASCII 字符，那么您将再次让 Java 使用两倍的空间，因此进行两倍的复制。为了获得更好的比较，您应该连接包含更多有趣字符的字符串，这些字符在 UTF-8 编码中需要两个或更多字节。

Answer 5

我认为您的测试意义不大，因为 Java 和 Python 处理字符串的方式不同（我不是 Python 专家，但我知道我在 Java 中的方式）。 StringBuilders/Buffers 在 Java 中存在是有原因的。正是因为这个原因，语言设计者并没有做任何更有效的内存管理/操作：除了“String”对象之外，还有其他工具可以进行这种操作，他们希望您在编码时使用它们。

当您按照 Java 应有的方式做事时，您会惊讶于该平台的速度有多快……但我必须承认，我对一些 Python 应用程序的性能印象深刻最近试过了。