cassandra 可以在 m1.xlarge 实例上处理多少负载？

Question

我在 EC2 m1.xlarge 的 3 个实例上设置了 Cassandra (1.2.10) 集群的 3 个节点。

基于包含多个准则的默认配置，例如：

• datastax_clustering_ami_2.4
• 不使用 EBS，而是在 ephemerals 上突袭了 0 xfs，
• 在单独的磁盘上提交日志，
• RF=3，
• 6GB 堆，200MB 新大小（还使用更大的新大小/堆值进行了测试），
• 增强的limits.conf。

每秒写入 500 次，集群只能工作几个小时。在那之后，由于 CPU 过载（主要是 GC + 压缩），它似乎无法响应。

节点保持运行状态，但它们的负载很大，日志中充满了 GC 信息和消息，例如：

ERROR [Native-Transport-Requests:186] 2013-12-10 18:38:12,412 ErrorMessage.java (line 210) Unexpected exception during request java.io.IOException: Broken pipe

nodetool 在每个节点上显示许多丢弃的突变：

Message type           Dropped
RANGE_SLICE                  0
READ_REPAIR                  7
BINARY                       0
READ                         2
MUTATION               4072827
_TRACE                       0
REQUEST_RESPONSE          1769

对于 m1.xlarge 的 3 节点集群来说，500 wps 是否太多了，我应该添加节点吗？或者是否有可能以某种方式进一步调整 GC？ 您可以使用 3 个 m1.xlarge 节点来处理什么负载？你的 GC 配置是什么？

Answer 1

Cassandra 完全能够在单个节点上每秒处理 数万次 小写入。我刚刚检查了我的笔记本电脑，并从 Cassandra 1.2 上的 cassandra-stress 获得了大约 29000 次写入/秒。因此，即使对于单个节点，每秒 500 次写入也不是一个令人印象深刻的数字。

但请注意，数据刷新到磁盘的速度也存在限制，您绝对不希望传入数据速率接近 HDD 的物理容量。因此，如果这些写入足够大，每秒 500 次写入可能太多了。

首先 - 写入的平均大小是多少？你的复制因子是多少？将写入次数乘以复制因子和平均写入大小 - 然后您将大致知道集群所需的写入吞吐量。但是您应该为其他与 I/O 相关的任务（如压缩）留出一些安全余量。互联网上有各种基准测试告诉单个 m1.xlarge 实例应该能够以 20 MB/s 到 100 MB/s 之间的任何速度写入...

如果您的集群有足够的 I/O 吞吐量（例如，超过所需的 3 倍），但您发现 OOM 问题，您应该尝试：

1. 减少 memtable_total_space_mb（这将导致 C* 更频繁地刷新较小的内存表，更早地释放堆）
2. 将 write_request_timeout 降低到例如2 秒而不是 10 秒（如果您有大量写入，您不希望在传入队列中保留太多写入，这些队列驻留在堆上）
3. 关闭 row_cache（如果您曾经启用它）
4. key_cache 的大小较小
5. 考虑升级到 Cassandra 2.0，它将很多东西移到堆外（例如布隆过滤器和索引摘要）；如果您只是为每个节点存储大量数据，这一点尤其重要
6. 添加更多硬盘并设置多个数据目录，以提高刷新性能
7. 设置更大的新生代大小；对于 6 GB 堆，我通常将其设置为 800M 左右，以避免对老一代造成压力。
8. 如果您确定 memtable 刷新滞后，请确保启用 sstable 压缩 - 这将减少物理保存到磁盘的数据量，但会增加 CPU 周期