【发布时间】:2022-10-19 11:23:41
【问题描述】:
我正在使用提供 Zeppelin 环境的 Kinesis Data Analytics Studio。
非常简单的代码:
%flink.pyflink
from pyflink.common.serialization import JsonRowDeserializationSchema
from pyflink.common.typeinfo import Types
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors import FlinkKafkaConsumer
# create env = determine app runs locally or remotely
env = s_env or StreamExecutionEnvironment.get_execution_environment()
env.add_jars("file:///home/ec2-user/flink-sql-connector-kafka_2.12-1.13.5.jar")
# create a kafka consumer
deserialization_schema = JsonRowDeserializationSchema.builder() \
.type_info(type_info=Types.ROW_NAMED(
['id', 'name'],
[Types.INT(), Types.STRING()])
).build()
kafka_consumer = FlinkKafkaConsumer(
topics='nihao',
deserialization_schema=deserialization_schema,
properties={
'bootstrap.servers': 'kakfa-brokers:9092',
'group.id': 'group1'
})
kafka_consumer.set_start_from_earliest()
ds = env.add_source(kafka_consumer)
ds.print()
env.execute('job1')
我可以让这个在本地工作,可以看到生成到控制台的更改日志。但是我无法在 Zeppelin 中获得相同的结果。
还在 Flink Web 控制台任务管理器中检查了 STDOUT,也没有任何内容。
我错过了什么吗?搜索了几天,找不到任何东西。
【问题讨论】:
标签: apache-flink apache-zeppelin amazon-kinesis-analytics