跨目录跨越 Kafka 主题分区答案

【问题标题】：Span Kafka topic partition across directories跨目录跨越 Kafka 主题分区
【发布时间】：2020-03-02 22:23:46
【问题描述】：

我有一个带有一个分区的 Kafka 主题。我正在尝试向代理发送消息。源大小为 1.5 TB。我的代理有两个目录来存储 Kafka 分区

/dev/sdc1       1.1T  567G  460G  56% /data_disk_0
/dev/sdd1       1.1T  1.1T     0 100% /data_disk_1

每个都有 1.1 TB 大小。由于我的主题只有一个分区，Kafka 将所有消息存储到/dev/sdd1。最终磁盘完全填满，因为源大小大于目标磁盘大小。我可以在不更改分区数量的情况下跨越我的主题分区以将一半数据存储在disk0 和另一半数据在disk1 吗？

请指教

我找不到任何可以添加到 Kafka 的与配置相关的更改

【问题讨论】：

【解决方案1】：

这在 kafka 配置级别是不可能的。您必须使用 RAID 或逻辑卷组将磁盘集中在一起作为一个卷

在 Kafka 文档中，它提到了

您可以将这些驱动器一起 RAID 到单个卷或格式化并将每个驱动器安装为自己的目录

如果您的数据严重偏向一个磁盘，即某些分区，您应该检查您的生产者如何对数据进行分区，开始在某处持久化如此大的主题，或者为这些主题打开压缩/保留期

【讨论】：