Flume-ng null 事件的自定义接收器

Question

我正在尝试为 flume-ng 编写一个自定义接收器。我查看了现有的接收器和文档并将其编码。但是，应该接收事件的 'process()' 方法总是以 null 结束。 我在做 Event event = channel.take();但该事件为空。我在日志中看到该方法被重复调用，因为事件仍在通道中。

有人能指出正确的方向吗？

Answer 1

这是一个流程函数的骨架...如果您未能获得您回滚的事件，请将状态更改为 BACKOFF 。如果不是，您 commit 并将状态设置为 READY 。无论如何，您总是关闭交易。

    Status status = null;
    Channel channel = getChannel();
    Transaction transaction = channel.getTransaction();
    transaction.begin();
    try {
        Event event = channel.take();

        if (event != null && validEvent(event.getBody()) >= 0) {
           # make some printing
        }
        transaction.commit();
        status = Status.READY;
    } catch (Throwable ex) {
        transaction.rollback();
        status = Status.BACKOFF;
        logger.error("Failed to deliver event. Exception follows.", ex);
        throw new EventDeliveryException("Failed to deliver event: " + ex);
    } finally {
        transaction.close();
    }
    return status;

我相信这会奏效:)。

Answer 2

这是设计使然。 sink runner 将使用null events 轮询 sink，以便确保 sink 处于活动状态并准备好接受未来的事件。当您收到null 事件时，请确保您返回Status.BACKOFF，接收器处理器会稍等片刻再重试。