【问题标题】:Batch learning in stream learning for clustering用于聚类的流学习中的批量学习
【发布时间】:2015-04-02 01:15:08
【问题描述】:

我有一个“研究”问题:

有没有在流学习中结合批学习(MapReduce)进行聚类的方法?

【问题讨论】:

  • 现在使用 Lambda 架构实现!

标签: hadoop apache-spark spark-streaming


【解决方案1】:

查看Apache SparkGoogle Dataflow 了解在批处理和流模式下工作的编程模型。

Apache Spark 有 mllib 用于机器学习

【讨论】:

  • 感谢您的回复!我知道 Apache Spark 是 MapReduce 框架的一个实现,它用于进行批量学习。还有用于进行流学习的 Spark Streaming。但我的问题是关于在流学习中结合批处理学习以进行聚类的方法!
【解决方案2】:

Freeman Lab 推出了一些非常有趣的 Spark Stream/MLlib 集成工作,通过引入“健忘”参数对流执行小批量聚类

https://databricks.com/blog/2015/01/28/introducing-streaming-k-means-in-spark-1-2.html

https://gist.github.com/freeman-lab/9672685

【讨论】:

    猜你喜欢
    • 2021-10-17
    • 2018-03-17
    • 2018-04-11
    • 2016-11-11
    • 1970-01-01
    • 1970-01-01
    • 2022-07-27
    • 1970-01-01
    • 2017-04-20
    相关资源
    最近更新 更多