【问题标题】:Cassandra with C#: How to insert bulk over a million records of SQL into Cassandra with high performanceCassandra 与 C#:如何以高性能将超过一百万条 SQL 记录批量插入 Cassandra
【发布时间】:2017-09-01 06:32:17
【问题描述】:

如何使用 C# 将行从 SQL 的 dataset/datatable 转换为 Cassandra 的 rowset

使用 Cassandra 准备好的语句进行批量插入会得到 ff.错误:

索引超出了数组的范围。 Values 参数有 100 多个值。 batch.Add(userTrackStmt.Bind(values));

【问题讨论】:

    标签: c# sql cassandra


    【解决方案1】:

    我想说,可用于快速导入数百万条记录的工具将取决于您的 SQL 复杂性。
    如果您在批量插入方面遇到问题(您尚未提供代码和表结构示例,因此我无法在此处为您提供帮助)。
    你也可以试试:
    1.COPY命令。
    2. 通过 [Mobius] (https://github.com/Microsoft/Mobius) 使用 Spark Streaming API。所以从技术上讲,你会读取第一个表(或 SQL 结果),然后以流的方式将数据写入第二个表。

    【讨论】:

      猜你喜欢
      • 2012-05-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-08-13
      • 2011-02-15
      • 2017-01-07
      • 2020-10-31
      • 2015-10-28
      相关资源
      最近更新 更多