【问题标题】:Is Neo4j capable to store data in HDFS?Neo4j 是否能够在 HDFS 中存储数据?
【发布时间】:2015-10-26 15:36:47
【问题描述】:

Q1:是否可以使用 HDFS 作为 Neo4j 的存储后端?

我的原始数据很大(2TB 到 3TB,仍在处理中,因此无法准确判断有多少顶点和边),所以我自然会担心 Neo4j 在这种情况下是否仍然适用。我们当前的集群有 64 核 CPU,每个节点 128G RAM,而数据无法放入本地 HDD,除非图形可以存储在 HDFS 中。

Q2:Neo4j 会从 HA 集群模式中提升性能吗?

HA Cluster 是只在每个集群节点上分发副本,还是 Neo4j 并行运行查询以获得高性能?如果是后者,是否每个节点都拥有整个图的副本(假设整个图真的很大)以减少网络 IO 开销?

提前致谢!

BR, 托德·利奥

【问题讨论】:

    标签: neo4j graph-databases


    【解决方案1】:

    1) 应该可以,但是你需要将hdfs挂载为普通硬盘。

    但在我看来这没有意义,因为那样 I/O 操作会很慢。如果您将其与 SSD 进行比较。

    2) 它提高了性能,因为您可以使用多台机器(从机)进行读取操作。 - http://neo4j.com/docs/stable/ha-how.html

    【讨论】:

    • 是否可以将HDFS的某个目录挂载为HDD?
    • @ToddLeo 是的,有可能 - wiki.apache.org/hadoop/MountableHDFS 但是使用 HDFS 没有任何优势。
    • 嗨 Mic,在将近一整年之后,我仍然沉迷于此。你说
    • 嗨 Mic,在将近一整年之后,我仍然沉迷于此。你说 I/O 操作会很慢,与 SSD 相比。它与HDD相比如何?将整个数据目录存储到 HDFS 时是否会降低性能(将 data/ 目录指向集群中所有机器上的相同 HDFS URI)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-01-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-02-25
    相关资源
    最近更新 更多