提示在 cassandra 中超时答案

【问题标题】：Hints are timing out in cassandra提示在 cassandra 中超时
【发布时间】：2015-05-13 18:42:45
【问题描述】：

我们看到很多提示超时，我没有看到任何关于节点的日志正在关闭。这对我来说很奇怪，如果 cassandra 认为它没有关闭，为什么它会建立提示表。我也没有看到任何 GC 暂停。

谁能帮我解决这个问题

INFO [HintedHandoff:2] 2015-03-11 01:56:00,958 HintedHandOffManager.java (line 469) Timed out replaying hints to /1.1.1.79; aborting (0 delivered)
INFO [HintedHandoff:1] 2015-03-11 02:03:54,914 HintedHandOffManager.java (line 469) Timed out replaying hints to /1.1.1.76; aborting (0 delivered)

【问题讨论】：

标签： cassandra cassandra-2.0 datastax-enterprise datastax

【解决方案1】：

您在该节点上有提示这一事实表明该节点本身已启动。该日志所说的是节点 1.1.1.79 和 1.1.1.76 已关闭，或者更有可能发生抖动。你应该检查他们的状态。在这些节点上运行 nodetool tpstats，如果它们启动，则查找任何丢弃的突变。检查日志。

【讨论】：

我检查了 79 和 76 中的所有日志。一切看起来都很好，并且 tpstats 显示丢弃的突变为零。
在您查看这些节点之前，移交是否完成了流程？日志中是否有相关消息？
我可以看到这个节点启动提示日志和超时。如果八卦不认为这些节点已关闭，我无法理解为什么它会存储提示？
您可以看到提示切换至少定期超时。这清楚地表明此节点与其他 2 个节点之间确实存在连接问题。您可能应该更彻底地检查日志。
这仅在特定时间发生。如果这是一个网络问题，我们应该一直遇到这种情况。

【解决方案2】：

如果您想以某种方式复制该行为，只需从机器上拔下互联网电缆 5 秒，每 10 秒，连续 10 次。

这里我有一些来自另一台机器的 /var/log/cassandra/system.log 的额外内容

INFO [HintedHandoff:2] 2016-10-27 14:20:00,333 HintedHandOffManager.java:486 - Timed out replaying hints to /192.168.0.178; aborting (0 delivered) INFO [HintedHandoff:1] 2016-10-27 14:26:13,393 HintedHandOffManager.java:367 - Started hinted handoff for host: fa16996c-722c-458b-a621-eb53efa79fb2 with IP: /192.168.0.178 INFO [HintedHandoff:1] 2016-10-27 14:28:27,959 HintedHandOffManager.java:486 - Timed out replaying hints to /192.168.0.178; aborting (28850 delivered) INFO [HintedHandoff:2] 2016-10-27 14:36:17,398 HintedHandOffManager.java:367 - Started hinted handoff for host: fa16996c-722c-458b-a621-eb53efa79fb2 with IP: /192.168.0.178

我了解有时它会在实际流开始之前超时

aborting (0 delivered)

有时它会在流开始后中止，指定发送了多少，并设置诸如标记之类的东西来知道下次从哪里流：

aborting (28850 delivered)

【讨论】：