Cassandra 读取超时

Question

我正在从 cassandra 2.0 中提取大量数据，但不幸的是出现超时异常。 我的桌子：

CREATE KEYSPACE StatisticsKeyspace
  WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };


CREATE TABLE StatisticsKeyspace.HourlyStatistics(
KeywordId text,
Date timestamp,
HourOfDay int,
Impressions int,
Clicks int,
AveragePosition double,
ConversionRate double,
AOV double,
AverageCPC double,
Cost double,
Bid double,
PRIMARY KEY(KeywordId, Date, HourOfDay)
);
CREATE INDEX ON StatisticsKeyspace.HourlyStatistics(Date);

我的查询：

SELECT KeywordId, Date, HourOfDay, Impressions, Clicks,AveragePosition,ConversionRate,AOV,AverageCPC,Bid 
FROM StatisticsKeyspace.hourlystatistics 
WHERE Date >= '2014-03-22' AND Date <= '2014-03-24'

我在cassandra.yaml 文件中更改了配置。

read_request_timeout_in_ms: 60000
range_request_timeout_in_ms: 60000
write_request_timeout_in_ms: 40000
cas_contention_timeout_in_ms: 3000
truncate_request_timeout_in_ms: 60000
request_timeout_in_ms: 60000

但它仍然会在大约 10 秒内引发超时。有什么想法可以解决这个问题吗？

Answer 1

如果使用 datastax 中的 java 客户端，分页默认启用，行集为 5000。如果仍然超时，可以尝试使用

public Statement setFetchSize(int fetchSize)

(read more)

如果您使用的是 cli，您可能需要尝试某种手动分页：

SELECT KeywordId, Date, HourOfDay, Impressions, Clicks,AveragePosition,ConversionRate,AOV,AverageCPC,Bid 
FROM StatisticsKeyspace.hourlystatistics 
WHERE Date >= '2014-03-22' AND Date <= '2014-03-24' 
LIMIT 100;

SELECT * FROM ....  WHERE token(KeywordId) > token([Last KeywordId received]) AND ...
LIMIT 100;

要检测一些集群问题，您可以尝试使用限制为 1 的选择，可能存在潜在问题。

希望对您有所帮助。

如果您的查询仍然遇到性能问题，我会查看您的二级索引，因为传输的数据量似乎是合理的（仅返回“小”数据类型）。如果我是对的，更改 fetch 大小不会有太大变化。 相反，您是否仅在“日期”（时间戳）列中插入日期？如果您要插入实际时间戳，则由于基数，此列上的二级索引将非常慢。如果您只插入一个日期，时间戳will default to date + "00:00:00" + TZ 应该减少基数，从而提高查找速度。 （注意时区问题！）绝对确定，尝试在具有不同数据类型的列上使用二级索引，例如日期的 int （计算自 1970-01-01 或某事以来的天数）。