Kafka 服务器在我的本地计算机上，我的 spark 服务器在 aws 上，我收到错误“找不到数据源：kafka”。

Question

Kafka 服务器在我的本地计算机上，我的 spark 服务器在 aws 上，我正在尝试连接两者。我收到错误“找不到数据源：kafka。”

-aws 上的 Spark 服务器

kafka_df = spark.readStream \
        .format("kafka") \
        .option("kafka.bootstrap.servers", "localhost:9092") \
        .option("subscribe", "invoices") \
        .option("startingOffsets", "earliest") \
        .load() ` 

-本地计算机上的Kafka生产者服务器

kafka-console-producer.sh --broker-list localhost:9092 --topic invoices

Answer 1

您需要将spark-sql-kafka 包添加到您的 Spark 驱动程序。

对于该错误消息，Spark 或 Kafka 在哪​​里运行并不重要，但是，AWS 上的 localhost 将无法连接到在您自己的机器上运行的 Kafka，您不应该通过打开互联网，如果你要连接两者。