使用 bigtable.scan() 函数时出现“StatusCode.DEADLINE_EXCEEDED”错误

Question

我在 bigtable 中有数百万篇文章，要扫描 50,000 篇文章，我使用了一些东西：

for key, data in mytable.scan(limit=50000):
         print (key,data)

它适用于最高 10000 的限制，但当我超过 10000 的限制时，我收到此错误

_Rendezvous：<_rendezvous rpc>

Answer 1

对此问题进行了修复，客户端会自动重试类似这样的临时故障。该修复程序尚未发布，但有望很快发布。

Answer 2

我遇到了类似的问题，我必须同时从多行中检索数据。您使用的看起来像 hbase 客户端，我的解决方案是使用本机客户端，所以我将尝试发布两者 - 我测试过的一个和可能工作的一个。

我从来没有找到一个示例来演示如何使用consume_next() 方法简单地迭代行，这是在here 中提到的，我自己也没有弄清楚。为太多行调用 consume_all() 会产生相同的 DEADLINE EXCEEDED 错误。

LIMIT = 10000
previous_start_key = None
while start_key != previous_start_key:
    previous_start_key = start_key
    row_iterator = bt_table.read_rows(start_key=start_key, end_key=end_key, 
        filter_=filter_, limit=LIMIT)
    row_iterator.consume_all()
    for _row_key, row in row_iterator.rows.items():
        row_key = _row_key.decode()
        if row_key == previous_start_key:  # Avoid repeated processing
            continue
        # do stuff 
        print(row)  
        start_key = row_key

所以基本上你可以从任何 start_key 开始，检索 10k 结果，执行consume_all()，然后从你离开的地方开始检索下一批，依此类推，直到某些合理的条件适用。

对你来说可能是这样的：

row_start = None
for i in range(5):
    for key, data in mytable.scan(row_start=row_start, limit=10000):
        if key == row_start:  # Avoid repeated processing
            continue
        print (key,data)
        row_start = key

可能有更好的解决方案，我真的很想知道它是什么，但这暂时对我有用。