python 3中最快的标准输入/输出IO？

Question

我一直在使用 python 3.1.2 解决 SPOJ.pl 上的一些问题，一些人在简单问题上的快速结果让我想知道是否有更快的方法来处理输入和输出。

我尝试过使用

input()
print()

和

sys.stdin.readline()
sys.stdout.write()

或者说

for line in sys.stdin:
    #Handle input
    sys.stdout.write(output)

处理每一行。 我还尝试收集列表中的所有输出，并在处理完所有内容后立即打印。

但所有这些都会产生相似的执行时间。

有没有更快的方法来处理标准输入/输出的输入和输出？

Answer 1

可能不会。

最后，print 将调用sys.stdout.write()。但由于print 是一个内置函数，可能用C 实现，它甚至可能比调用sys.stdout.write() 更快。

由于所有 IO 都必须通过 sys.stdout 返回的对象，这就是瓶颈。 sys.stdin 也是如此。

没有什么神奇的技巧可以让这个速度更快。

如果您需要更快的 IO，请尝试以下方法：

• 改为写入文件
• 使用缓冲 IO（在小型 shell 脚本中使用 buffer 命令管道标准输出）。
• 使用内存映射文件
• 确保读取您的输出的进程可以跟上。例如，DOS 控制台非常慢。如果您通过慢速命令管道输出，则可能会阻塞您的 python 进程。

[编辑] 似乎 SPOJ.pl 是某种程序员枪战网站。在这种情况下，I/O 速度不是罪魁祸首：您使用了错误的算法来解决问题。

良好性能和一般性能之间的速度差异很容易达到 10 到 100,000 倍。通过更改几行代码，我曾经可以让代码在不到 5 秒的时间内运行，而之前需要 45 分钟。

Answer 2

以下可能是最快的：

1. 使用os.read(0, some_big_enough_number)一次读取所有输入。

2. 处理输出，将结果收集到列表results。

3. 使用os.write(1, "".join(results))一次写入所有输出。

我记得有一个案例，我注意到 os.read() 和 os.write() 有时比使用 Python I/O 更快，但我不记得细节了。

Answer 3

SPOJ 可让您在多种编程语言中进行选择。您是否将执行时间与用其他编程语言编写的其他解决方案进行比较？

为了好玩，我为第一个问题（代号TEST）提交了以下解决方案来比较运行时间。

C++ 解决方案（G++ 4.3.2）

#include <iostream>
int main ( int, char** )
{
     for ( int number=0; (std::cin >> number) && (number != 42); ) {
         std::cout << number << std::endl;
     }
}

请参阅submission。

Python（2.5）解决方案

import sys
for line in sys.stdin:
    number = int(line)
    if number == 42:
        break
    print number

请参阅submission。

结论

我不能 100% 确定这会在两种语言中获得绝对最佳的性能，但其中没有太多需要优化的代码。

我得到时间 0.00 测量 C++ 和 0.04 测量 Python 代码。假设提交给两个程序的数字序列相同，我认为将运行时间与其他语言的解决方案进行比较几乎没有意义（见下一段）。

现在，这仅适用于简单问题。大多数高级问题都需要为问题选择正确的算法，而选择错误的算法会产生严重的后果。在这些情况下，精心设计的 Python 解决方案可能仍然比精心设计的 C++ 解决方案慢，但好的 Python 解决方案将胜过用任何其他语言编写的幼稚解决方案。