如何使用 Python 从 Bigtable 中获取过滤后的数据？

Question

我正在使用 Bigtable 模拟器并已成功在其中添加了一个表，现在我需要获取过滤后的数据。

表格如下：

arc_record_id | record_id | batch_id
1             |624        |86
2             |625        |86
3             |626        |86 

以此类推...直到 arc_record_id 10。

我已经尝试过下面给出的 Python 代码：

visit_dt_filter = ValueRangeFilter(start_value = "1".encode('utf-8'), 
end_value = "2".encode('utf-8'))

col1_filter = ColumnQualifierRegexFilter(b'arc_record_id')

chain1 = RowFilterChain(filters=[col1_filter, visit_dt_filter])

partial_rows = testTable.read_rows(filter_=chain1)

for row in partial_rows:
    cell = row.cells[columnFamilyid1]["arc_record_id".encode('utf-8')][0]
    print(cell.value.decode('utf-8'))

行键是

prim_key=row_value[0] //which is arc_record_id 
row_key="RecordArchive{}".format(prim_key).encode('utf-8') 

我得到的输出为

1
10
2
3

我希望输出是

arc_record_id | record_id | batch_id
1             |624        |86
2             |625        |86

Answer 1

您的代码有几个问题可以帮助您达到您想要的效果：

1. Bigtable 使用lexicographic sort over arbitrary bytes，因此排序顺序为 1、10、2、3 等。这就是结果集中包含 10 的原因。您可以通过左填充数字来解决此问题，以便将它们存储为 000000001、000000002。（您可以通过存储为十六进制甚至二进制来降低效率低下）。

2. 因为您只打印row.cells[columnFamilyid1]["arc_record_id".encode('utf-8')]，所以您只输出arc_record_id。

3. 因为要过滤的列是row key，所以直接告诉read_rows要读取的范围既简单又高效：read_rows(start_key="RecordArchive1".encode('utf-8'), end_key="RecordArchive3".encode('utf-8'))

总而言之，试试这样的代码：

KEY_PREFIX = "RecordArchive".encode('utf-8')
ARC_RECORD_ID_COL = "arc_record_id".encode('utf-8')
RECORD_ID_COL = "record_id".encode('utf-8')
BATCH_ID_COL = "batch_id".encode('utf-8')

# Functions used to store/retrieve integer values. Supports IDs up to 2**31
def pack_int(i):
    return struct.pack('>l', i)
def unpack_int(b):
    return struct.unpack('>l', b)[0]
# row key of a record of given arc_record_id
def rowkey(id):
    return KEY_PREFIX + pack_int(id)

results = table.read_rows(start_key=rowkey(1), end_key=rowkey(2), end_inclusive=True)
print("arc_record_id,record_id,batch_id")
for row in results:
    print("{},{},{}".format(
              unpack_int(row.cell[columnFamilyid1][ARC_RECORD_ID_COL][0].value),
              unpack_int(row.cell[columnFamilyid1][RECORD_ID_COL][0].value),
              unpack_int(row.cell[columnFamilyid1][BATCH_ID_COL][0].value)))