无法安装 confluent-kafka：“致命错误：librdkafka/rdkafka.h：没有这样的文件或目录”答案

【问题标题】：Unable to install confluent-kafka: "fatal error: librdkafka/rdkafka.h: No such file or directory"无法安装 confluent-kafka：“致命错误：librdkafka/rdkafka.h：没有这样的文件或目录”
【发布时间】：2022-06-13 11:25:40
【问题描述】：

我在我的项目中使用 confluent-kafka Python 客户端。我正在尝试使用此客户端创建 Docker 映像。

我面临以下错误：-

#11 8.015 [pipenv.exceptions.InstallError]:       In file included from /tmp/pip-install-so_whhii/confluent-kafka_9d9553bf46cf489bb25fcb2ac7698747/src/confluent_kafka/src/Admin.c:17:
#11 8.015 [pipenv.exceptions.InstallError]:       /tmp/pip-install-so_whhii/confluent-kafka_9d9553bf46cf489bb25fcb2ac7698747/src/confluent_kafka/src/confluent_kafka.h:23:10: fatal error: librdkafka/rdkafka.h: No such file or directory
#11 8.015 [pipenv.exceptions.InstallError]:          23 | #include <librdkafka/rdkafka.h>
#11 8.015 [pipenv.exceptions.InstallError]:             |          ^~~~~~~~~~~~~~~~~~~~~~
#11 8.015 [pipenv.exceptions.InstallError]:       compilation terminated.
#11 8.015 [pipenv.exceptions.InstallError]:       error: command '/usr/bin/gcc' failed with exit code 1
#11 8.016 [pipenv.exceptions.InstallError]:       [end of output]

根据我的搜索，它与 Apple M1 build for librdkafka 有关。

【问题讨论】：

请edit 发布您的Dockerfile 的相关部分。请包含基本映像 FROM，以及您尝试安装的任何其他库/包，包括 confluent-kafka。
如果您尝试构建 ARM 映像，那么是的，您可能不得不改用 kafka-python

标签： python docker apache-kafka librdkafka confluent-kafka-python

【解决方案1】：

为您的 Apple M1 预构建的 confluent-kafka-python 二进制轮子似乎不存在。

因此，为了安装包，pip 尝试从源代码自行构建。但是librdkafka 似乎没有按照您遇到的librdkafka/rdkafka.h: No such file or directory 错误安装。

您可以找到从源代码安装不同平台的具体说明here。

【讨论】：

【解决方案2】：

Confluent 工程师显然非常关注他们的付费客户，在 Python 3.10 发布后的许多许多个月里，他们仍然没有发布包含软件包二进制文件的 3.10 轮子。

https://github.com/confluentinc/confluent-kafka-python/issues/1219

你有两个选择。 1、运行Python 3.9； 2、在安装confluent-kafka之前通过apt安装librdkafka-dev（对于debian基础镜像）。

问题与 Apple M1 相同 - 即，包含二进制文件的平台没有预构建的轮子，但如果您尝试构建 @ 则更容易修复（通过安装 librdkafka-dev） 987654325@Linux镜像。

【讨论】：

【解决方案3】：

我发现这篇有用的文章 https://medium.com/@sri.vkrnt/using-confluent-kafka-on-apple-silicon-5d9150d198a3

它对我有用

【讨论】：