【发布时间】:2017-08-25 02:11:27
【问题描述】:
我正在尝试在本地计算机 (Windows 10) 上使用 kafka 作为生产者,并在 docker 容器 (ubuntu) 上使用 spark 流作为消费者。我的示例在容器中协同工作,但我需要在本地计算机上创建流。
我在主机(本地计算机)的 2181 端口和 9092 的 kafka 服务器上运行 zookeeper。
我在 9092 启动了一个代理来创建流(本地计算机)
producer = KafkaProducer(bootstrap_servers='localhost:9092')
while True:
message='Hola'
producer.send(1,'test', message)
time.sleep(1)
在容器的另一端,我正在监听端口 2181 以接收流。
ssc = StreamingContext(sc, 5)
kvs = KafkaUtils.createStream(ssc, "127.0.0.1:2181", "spark-streaming-consumer", {'test': 1})
问题是我不知道如何链接两者(Windows Kafka 和 Ubuntu)
我希望你能帮助我。 谢谢。
【问题讨论】:
-
这个问题缺少很多信息。您能否发布有关如何启动容器以及需要“放置 ip kafka 参数”的相关命令?什么是主机操作系统?你在使用 Docker 机器吗?
标签: apache-spark docker streaming apache-kafka