【问题标题】:Zeppelin Python Flink cannot print to consoleZeppelin Python Flink 无法打印到控制台
【发布时间】:2022-10-19 11:23:41
【问题描述】:

我正在使用提供 Zeppelin 环境的 Kinesis Data Analytics Studio。

非常简单的代码:

%flink.pyflink

from pyflink.common.serialization import JsonRowDeserializationSchema
from pyflink.common.typeinfo import Types
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors import FlinkKafkaConsumer

# create env = determine app runs locally or remotely

env = s_env or StreamExecutionEnvironment.get_execution_environment()
env.add_jars("file:///home/ec2-user/flink-sql-connector-kafka_2.12-1.13.5.jar")

# create a kafka consumer

deserialization_schema = JsonRowDeserializationSchema.builder() \
    .type_info(type_info=Types.ROW_NAMED(
      ['id', 'name'], 
      [Types.INT(), Types.STRING()])
    ).build()

kafka_consumer = FlinkKafkaConsumer(
    topics='nihao',
    deserialization_schema=deserialization_schema,
    properties={
      'bootstrap.servers': 'kakfa-brokers:9092', 
      'group.id': 'group1'
})

kafka_consumer.set_start_from_earliest()

ds = env.add_source(kafka_consumer)

ds.print()

env.execute('job1')

我可以让这个在本地工作,可以看到生成到控制台的更改日志。但是我无法在 Zeppelin 中获得相同的结果。

还在 Flink Web 控制台任务管理器中检查了 STDOUT,也没有任何内容。

我错过了什么吗?搜索了几天,找不到任何东西。

【问题讨论】:

    标签: apache-flink apache-zeppelin amazon-kinesis-analytics


    【解决方案1】:

    我不是 100% 确定,但我认为您可能需要一个接收器来开始通过数据流提取数据,您可能会使用包含的打印接收器功能

    【讨论】:

      猜你喜欢
      • 2013-02-05
      • 2021-02-17
      • 1970-01-01
      • 1970-01-01
      • 2021-04-08
      • 1970-01-01
      • 1970-01-01
      • 2016-09-21
      • 1970-01-01
      相关资源
      最近更新 更多