为什么在启用 Direct I/O 模式的 glusterFS 中读取速度非常低？答案

【问题标题】：Why Read speed is very low in glusterFS with Direct I/O mode enabled?为什么在启用 Direct I/O 模式的 glusterFS 中读取速度非常低？
【发布时间】：2018-12-10 14:04:14
【问题描述】：

我们在三节点 gluster 上运行我们的应用程序。案例 1：在默认配置下，我们的应用程序的写入速度为 150 MBps，读取速度也相同。案例 2：通过在 gluster volume 中设置以下三个参数启用 Direct I/O Mode

direct-io-mode=enable
network.remote-dio           off
performance.strict-o-direct  on

应用程序的写入速度提高并达到 250 MBps，但读取速度非常低。读取 5 GB 数据大约需要 20 分钟。

问题：为什么 Direct I/O 模式下读取速度这么慢？我们如何配置 gluster 或其他任何东西以在 Direct I/O 模式下获得更好的读取速度？

每个节点的规格：

RAM: 132 GB
Processor count: 16

Gluster 规格：

Trusted Service Pool has 3 physical nodes, With one Brick is configured on each node.
Storage Type: SSD
Gluster Version: glusterfs 3.8.4

体积规格：

Type: Replicate
Number of Bricks: 1 x 3 = 3
performance.read-ahead: off
performance.cache-refresh-timeout: 1
performance.cache-size: 20GB  ( We tried lesser cache-size also like 256 MB, but in vain )
nfs.disable: on
cluster.brick-multiplex: on
Volume Size: 200 GB

【问题讨论】：

标签： operating-system filesystems glusterfs

【解决方案1】：

在这种情况下，直接IO模式读取速度较低的原因是缓存丢失。您可以使用两个命令 cachestat 和 cachetop 找出命中的详细信息。

【讨论】：