【问题标题】：Copying data to Vertica using python使用 python 将数据复制到 Vertica
【发布时间】：2015-11-14 16:32:46
【问题描述】：

我使用python 和vertica-python 库到COPY 数据到Vertica DB

connection = vertica_python.connect(**conn_info)
vsql_cur = connection.cursor()

with open("/tmp/vertica-test-insert", "rb") as fs:
    vsql_cur.copy( "COPY table FROM STDIN DELIMITER ',' ", fs, buffer_size=65536)
    connection.commit()

它插入数据，但只有 5 行，尽管文件包含更多。这可能与数据库设置有关还是某些客户端问题？

【问题讨论】：

你的调试代码在哪里？你检查被拒绝的行了吗？

标签： python vertica

【解决方案1】：

此代码适用于我：

对于 JSON

# for json file
with open("D:/SampleCSVFile_2kb/tweets.json", "rb") as fs:
    my_file = fs.read().decode('utf-8')
    cur.copy( "COPY STG.unstruc_data FROM STDIN parser fjsonparser()", my_file)
    connection.commit()

对于 CSV

# for csv file
with open("D:/SampleCSVFile_2kb/SampleCSVFile_2kb.csv", "rb") as fs:
    my_file = fs.read().decode('utf-8','ignore')
    cur.copy( "COPY STG.unstruc_data FROM STDIN PARSER FDELIMITEDPARSER (delimiter=',', header='false') ", my_file) # buffer_size=65536
    connection.commit()

【讨论】：

【解决方案2】：

您很可能有行被拒绝。假设您使用的是 7.x，您可以添加：

[ REJECTED DATA {'path' [ ON nodename ] [, ...] | AS TABLE 'reject_table'} ]

你也可以在复制执行后查询这个来查看结果摘要：

SELECTGET_NUM_ACCEPTED_ROWS(),GET_NUM_REJECTED_ROWS();

【讨论】：