【发布时间】:2015-03-08 17:51:09
【问题描述】:
我是 Storm 和 Spark 的新手。我只想问这两个框架是怎么存储文件的?他们可以使用 HDFS 吗?还有,他们能支持xml格式吗?
谢谢,
【问题讨论】:
标签: apache-spark apache-storm spark-streaming
我是 Storm 和 Spark 的新手。我只想问这两个框架是怎么存储文件的?他们可以使用 HDFS 吗?还有,他们能支持xml格式吗?
谢谢,
【问题讨论】:
标签: apache-spark apache-storm spark-streaming
我不确定 spark 但storm 可以写入 HDFS https://github.com/apache/storm/tree/master/external/storm-hdfs
除了 HDFS 之外,它还允许您写入 hbase、redis 并为您提供 jdbc 连接器模块。您可以在此处查看列表 - https://github.com/apache/storm/tree/master/external
【讨论】:
就Spark而言,它可以在HDFS上读写,并且和Hadoop一样支持xml格式。
【讨论】: