【发布时间】:2017-07-11 18:28:08
【问题描述】:
我有以下场景,我有多个大文件(每个大约 200M 记录),我想通过 kafka 发送该文件。为了获得更好的性能,我想使用 Kafka 分区来发送数据。现在我的数据要求是针对特定键,所有消息都应该转到特定分区。目前对于 POC,我使用 10 个 kafka 分区并使用数字 ID 字段对数据进行分区。我的逻辑只是检查 IT 的最后一位并将记录发送到相应的 kafka 分区。例如:ID - ***7 将始终进入分区 7。现在这个逻辑不能用于概括我的代码,因为键可以是非数字的,并且可以根据需要增加/减少分区的数量。
我想知道是否有一种哈希算法可以根据给定的范围生成特定范围内的值(例如,如果我必须有 10 个分区,那么它应该创建所有以0-9 结尾的哈希值)?
【问题讨论】: