【问题标题】:Insert large binary file or array (over 64MB) into Cassandra using datastax c++ driver使用 datastax c++ 驱动程序将大型二进制文件或数组(超过 64MB)插入 Cassandra
【发布时间】:2015-12-14 01:32:23
【问题描述】:

我正在寻找一种使用 datastax c++ 驱动程序将大型二进制文件或数组(超过 64MB)插入 Cassandra 的方法。

我知道 Cassandra 对 blob 有 64MB 的限制,但正如 thread 所暗示的那样

Datastax 对此有一个解决方案,但我在他们的 API 中找不到任何证明这种能力的示例。

我也知道 netflix 的 astyanax 项目,但它是用 java 编写的。

我说的是非常大的文件,每个大约 10GB。 我已经使用 mongodb+gridfs 成功地做到了这一点,但想知道 Cassandra 在写入性能方面是否会表现得更好。

谢谢

【问题讨论】:

    标签: c++ cassandra datastax


    【解决方案1】:

    Cassandra 不是为大型对象存储而构建的。

    您可以将文件分块成小块,每个可能 128k,或者尝试使用 CFS。

    http://www.datastax.com/dev/blog/cassandra-file-system-design

    【讨论】:

    • cpp 驱动 API 中没有提到 CFS,能否请您参考代码示例?还是 CFS 是一个仅限 java 的库?
    • 哇,很高兴知道这一点。我正在考虑将 Cassandra 中的存档文件视为 blob。还有其他适合“大型对象存储”的 NoSQL 数据库吗?
    • 听起来你需要一个文件系统
    猜你喜欢
    • 2019-04-18
    • 2016-01-22
    • 2016-09-21
    • 2015-08-08
    • 2016-10-06
    • 2015-05-18
    • 2014-03-16
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多