【发布时间】:2012-07-11 18:59:08
【问题描述】:
我想知道逐块写入文件有什么好处。我认为它会减少io操作。但是在 linux 中,环境数据无论如何都会进入页面缓存和后台守护进程进行物理磁盘写入(如果我错了,请纠正我)。在那种环境中,块写入的优点是什么?
【问题讨论】:
标签: linux performance io
我想知道逐块写入文件有什么好处。我认为它会减少io操作。但是在 linux 中,环境数据无论如何都会进入页面缓存和后台守护进程进行物理磁盘写入(如果我错了,请纠正我)。在那种环境中,块写入的优点是什么?
【问题讨论】:
标签: linux performance io
如果我正确理解您的问题,您是在询问使用较大块而不是逐个字符编写的优势。
您必须考虑每次使用系统调用(例如write())本身具有最低成本,而不管正在做什么。此外,它可能会导致调用进程受到context switch 的影响,这有其自身的成本,并且还允许其他进程使用 CPU,从而导致更严重的延迟。
因此 - 即使我们忘记了直接和同步 I/O 模式,其中每个操作都可能立即进入磁盘 - 从性能的角度来看,通过移动更大的数据块来减少这些恒定成本的影响是有意义的.
使用dd传输1,000,000字节的简单演示:
$ dd if=/dev/zero of=test.txt count=1000000 bs=1 # 1,000,000 blocks of 1 byte
1000000+0 records in
1000000+0 records out
1000000 bytes (1.0 MB) copied, 1.55779 s, 642 kB/s
$ dd if=/dev/zero of=test.txt count=100000 bs=10 # 100,000 blocks of 10 bytes
100000+0 records in
100000+0 records out
1000000 bytes (1.0 MB) copied, 0.172038 s, 5.8 MB/s
$ dd if=/dev/zero of=test.txt count=10000 bs=100 # 10,000 blocks of 100 bytes
10000+0 records in
10000+0 records out
1000000 bytes (1.0 MB) copied, 0.0262843 s, 38.0 MB/s
$ dd if=/dev/zero of=test.txt count=1000 bs=1000 # 1,000 blocks of 1,000 bytes
1000+0 records in
1000+0 records out
1000000 bytes (1.0 MB) copied, 0.0253754 s, 39.4 MB/s
$ dd if=/dev/zero of=test.txt count=100 bs=10000 # 100 blocks of 10,000 bytes
100+0 records in
100+0 records out
1000000 bytes (1.0 MB) copied, 0.00919108 s, 109 MB/s
另外一个好处是,使用更大的数据块可以让 I/O 调度程序和文件系统的分配程序对您的实际工作负载做出更准确的估计。
【讨论】: