【问题标题】:WSO2 Stream Processor confusionWSO2 流处理器混淆
【发布时间】:2018-02-27 17:11:44
【问题描述】:

我对流处理器有点困惑。 我以前使用过 CEP,现在我使用的是流处理器。

如果我没记错的话,数据分析服务器、CEP 和机器学习器合并到流处理器中,是真的吗?

因为我发现了一些不一致的地方,例如 SP 不能直接在仪表板中发布,而 CEP 可以。 所以,我的问题是,CEP 和 ML 中的所有 feutures 都会在 SP 中流动吗?

【问题讨论】:

    标签: wso2 wso2cep wso2-das wso2ml wso2sp


    【解决方案1】:

    DAS、CEP 和 ML 尚未完全合并到流处理器中。

    在 DAS 中,实时分析由 Siddhi 处理,批量分析由 Spark 完成。但是在 Stream Processor 中,只有 Siddhi 作为核心处理器,并没有使用 Spark。

    流处理器通过siddhi以流的方式处理数据。为了满足批量分析的要求,可以使用 Siddhi 4.0.0 中引入的增量处理[1]。

    还通过为 Siddhi 4.0.0 编写的 ml 扩展提供 ML 支持。

    在 das/cep 中,需要定义多个工件,例如接收器、执行计划、发布者等。以创建分析工作流。

    但在流处理器中,可以在单个 Siddhi-App 中定义整个流程。

    如需进一步说明,请参阅 DAS 到 SP 迁移指南[2] 和 WSO2 分析 网站[3]。

    [1]https://wso2.github.io/siddhi/documentation/siddhi-4.0/#incremental-aggregation

    [2]https://docs.wso2.com/display/SP4xx/Upgrading+from+a+Previous+Release

    [3]https://wso2.com/analytics

    【讨论】:

      【解决方案2】:

      WSO2 流处理器是最新的WSO2 analytics 产品。它具有 WSO2 CEP 所具有的一组超级功能。以下是 WSO2 CEP 与 WSO2 SP 的功能比较。

      常规

      • SP 4.x 的核心是最新的siddhi 4.x,更加稳定并改进了performance。虽然 CEP 由 Siddhi 3.x 提供支持。
      • SP 基于 C5,比基于 C4 的 CEP 更轻薄。
      • SP 旨在对容器友好并且可以原生。 CEP 在容器化环境中部署时遇到了一些挑战。
      • 现在所有内容都包含在 Siddhi 应用程序中,这是一个可以自行部署和执行的单个文件。

      Incremental Analysis

      • 新的 siddhi 具有增量分析功能,旨在满足批量分析的需要。借助此功能,用户可以轻松地进行时间序列聚合,而无需与 Spark 等其他平台集成。
      • 增量分析允许在同一消息流中完成两种形式的分析,从而将实时分析与批处理分析顺利联合起来。

      Distributed Deployment

      • SP 4.x 具有高度可扩展的分布式体系结构。 SP 的容器友好特性让它可以大规模扩展。
      • 分布式部署具有容错性,并在 Apache Kafka 的帮助下支持仅一次处理。
      • CEP 分布式架构基于 Apache Storm。
      • 此外,SP 还内置了对多数据中心部署的支持。而 CEP 没有。

      工具

      • SP 拥有丰富的editor,支持自动补全、事件模拟、siddhi 查询调试等。CEP 在管理控制台中只有查询编辑器 UI。
      • SP 的Status Dashboard 让用户使用与 Siddhi Apps 和 JVM 的性能、资源消耗等相关的全面统计数据来监控他们的部署。 CEP 支持仅显示 JVM 统计信息的碳指标。

      Business Rules

      • SP 具有业务规则功能,非技术用户可以通过类似图形向导的 UI 构建处理逻辑,而无需编写查询。
      • 开发人员可以使用此功能以业务用户可以理解的抽象方式呈现复杂问题。
      • CEP 没有针对业务用户的功能。

      【讨论】:

        【解决方案3】:

        那么,我的问题是,CEP 和 ML 中的所有未来都将在 SP 中流动?

        我不相信。 StreamProcessor 仅具有 CEP、DAS 或 ML 功能的子集。恕我直言,它目前正在推广,因为它是新的、更轻量级和更快的

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多