从 CSV 导入时 Cassandra RPC 超时

Question

我正在尝试使用以下语法将 CSV 导入 Cassandra 中的列族：

copy data (id, time, vol, speed, occupancy, status, flags) from 'C:\Users\Foo\Documents\reallybig.csv' with header = true;

CSV 文件大约 700 MB，由于某种原因，当我在 cqlsh 中运行此命令时，我收到以下错误：

“请求未在 rpc_timeout 内完成。”

出了什么问题？ CSV 中没有错误，在我看来，Cassandra 应该毫无问题地吸入这个 CSV。

Answer 1

Cassandra 安装文件夹有一个 .yaml 文件来设置 rpc 超时值“rpc_timeout_in_ms”，您可以修改该值并重新启动 cassandra。

但另一种方法是剪切您的大 csv 以增加文件并逐个输入文件。

Answer 2

这实际上是我自己对COPY-FROM 的误解，因为 CSV 大约有 1700 万行。在这种情况下，最好的选择是使用批量加载程序示例并运行sstableloader。但是，如果我想将 CSV 分成 17 个不同的 CSV，那么上面的答案肯定会起作用。