【发布时间】:2015-12-12 16:51:05
【问题描述】:
分布式缓存是一种存储常见请求并实现快速检索的方法。
Tachyon 是一种以内存为中心的分布式存储文件系统,可避免去磁盘加载频繁读取的数据集。
这两者有什么不同?
【问题讨论】:
标签: apache-spark distributed-caching distributed-cache alluxio
分布式缓存是一种存储常见请求并实现快速检索的方法。
Tachyon 是一种以内存为中心的分布式存储文件系统,可避免去磁盘加载频繁读取的数据集。
这两者有什么不同?
【问题讨论】:
标签: apache-spark distributed-caching distributed-cache alluxio
主要区别在于编程范式,请注意,根据您的定义,Tachyon 几乎可以肯定是分布式缓存。
大多数分布式缓存通常是某种形式的键值存储,而更高级别的数据结构可以在此基础上构建,核心范式往往是键值。
Tachyon 旨在用作与大数据分析领域流行的 HDFS 接口兼容的软件文件系统。这样做的意义在于,它可以用作加速器,而不必调整每个框架以显式使用分布式缓存层。
请注意,Apache Ignite 和 Apache Geode (Incubating) 都是相关项目,它们提供键值和文件系统样式 API,这使得它们可以说更加灵活。
【讨论】:
Tachyon(现在称为 Alluxio)位于计算层(Apache Spark、Apache Flink、Apache MapReduce)和存储层(HDFS、Amazon S3、OpenStack Swift...)之间。
它基本上是一个内存文件系统,用于将用户从下面的存储系统(一个或多个)中抽象出来。
对于上面的计算框架或作业,Tachyon 是保存要计算的数据的数据存储。
它不能执行分布式计算高级功能,也不像某些分布式缓存(Apache Ignite 或 Hazelcast)那样提供原生 SQL 查询支持。
【讨论】: