【问题标题】:DSE Loading Data using Bulk LoaderDSE 使用 Bulk Loader 加载数据
【发布时间】:2019-09-19 00:06:13
【问题描述】:

目前,我已经通过使用 OpsCenter 成功安装了必要的节点和数据中心。

我还通过 DataStax Studio 使用 Cassandra 生成了必要的表和 Keyspace

生成的密钥空间

CREATE KEYSPACE graph_tables WITH REPLICATION = {'class':'SimpleStrategy', 'replication_factor':1};

表格生成

CREATE TABLE people_node (id text, name text, age int, location 'PointType', gender text, dob timestamp, PRIMARY KEY(id));

样本数据

id, name , age, location, gender, dob
0,  Betsy, 15 , 10 15   , F     , 1997-09-21T12:55:54

假设我们有一个 IP 地址为 1.1.1.1 的 node_1 和第二个名为 node_2 的 IP 地址为 2.2.2.2 的节点。这将是 OpsCenter 安装 Cassandra 的两个节点

从这里我尝试使用 dsbulk 插入必要的数据

dsbulk load -url ./people_node_csv -k graph_tables -t people_node -h '1.1.1.1, 2.2.2.2 ' -header true

但是,这会导致错误提示“操作加载_.....失败:主机 /1.1.1.1:9042 上的身份验证错误:主机 /1.1.1.1:9042 需要身份验证,但在集群配置中找不到身份验证器” .我试图通过添加“driver.ssl.keystone.password = cassandra”来解决这个问题,如Document 所示。但错误仍然存​​在。任何有关解决此问题的建议将不胜感激。

【问题讨论】:

  • 另外,请注意PointType 将输入格式化程序作为POINT(x y) 其中x 是经度,y 是纬度...

标签: cassandra datastax datastax-enterprise


【解决方案1】:

您需要提供documentation中所述的以下设置:

  • -u - 指定用户名
  • -p - 指定密码
  • --driver.auth.provider DsePlainTextAuthProvider - 选择对应的认证提供者。

【讨论】:

  • 感谢您的快速回复@Alex Ott。我还想澄清一下 gremlin 如何与 cassandra 一起工作。将数据加载到 cassandra 的那一刻,gremlin 将能够感知这些数据,我需要做的就是为 cassandra 中的每个表创建模式,指定哪个是节点,哪个是边缘?还是先在 gremlin 中创建架构更可取?
  • 不幸的是 DSBulk 还不支持将数据加载到 DSE Graph 中。对于此任务,您可以使用 DSE Graph Loader (docs.datastax.com/en/dse/6.0/dse-dev/datastax_enterprise/graph/…) 或 DSE GraphFrames (docs.datastax.com/en/dse/5.1/dse-dev/datastax_enterprise/graph/…, datastax.com/dev/blog/dse-graph-frame) - 在这两种情况下,您都需要先通过 gremlin 创建一个图表。
  • 发生这种情况是因为 DSE 在更新 verrice、添加边等时需要将数据插入到多个表中。
  • 我明白了,我实际上已经开始使用图形加载器,但由于时间戳格式2014-10-18T13:08:16 将其识别为字符串,因此在加载数据时遇到错误。我环顾四周,发现了一个帖子,上面写着Also regarding TimeStamp should be a number value for it to be successfully loaded via DSE Graphloader.。因此,我想知道时间戳应该如何格式化才能正确加载到 DSE 中?同时我假设 Point(..) 是通过图形加载器加载数据的正确格式。 @亚历克斯·奥特
  • 点格式应该相同。关于时间戳 - 我认为问题在于它不包含时区组件
猜你喜欢
  • 1970-01-01
  • 2017-03-10
  • 1970-01-01
  • 2021-06-06
  • 1970-01-01
  • 2016-12-24
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多