Python 'ndarray' 无法转换为 MySQL 类型

Question

我正在尝试使用 python 脚本将一些数据存储在 MYSQL 数据库中，但出现以下错误。

mysql.connector.errors.ProgrammingError: Failed processing format-parameters;
Python 'ndarray' cannot be converted to a MySQL type

实际上，我正在从 netCDF 文件中提取变量并尝试将它们存储在 MYSQL 数据库中。我的代码是

import sys
import collections
import os
import netCDF4
import calendar
from netCDF4 import Dataset
import mysql.connector
from mysql.connector import errorcode

table = 'rob-tabl'
con = mysql.connector.connect(user='rob', password='xxxx',
                                  database=roby)
cursor = con.cursor()


smeData = """
        CREATE TABLE rob-tabl (
        `id` bigint(20) NOT NULL AUTO_INCREMENT PRIMARY KEY,
        `time.val` double,
        `time.microsec` double,
        `temp.degrees` double,
        `humid.calc` double,
        `pressure.calc` double;"""

这些是我在 mMYSQL 数据库中的字段/列名称。我正在尝试将 netCDF4 数据插入 MYSQL

smeData = "INSERT INTO `" + table + "` "
.
.
.
.
.
.
.
.

data_array = []
for item in totfiles.items(): # loop on different netCDF files in a                      directory , but at the moment I had only one file
    nc = Dataset('filename', 'r')
    data1 = nc.variables['time'][:]
    data2 = nc.variables['microsec'][:]
    data3 = nc.variables['temperature'][:]
    data4 = nc.variables['humidity'][:]
    data5 = nc.variables['pressure'][:]
    data = data1 + data2 + data3 + data4 + data5
    data_array.append(data)
    print 'data_array: ', data_array
    cursor.execute(smeData, data_array)

或者如果我尝试像这样组合所有变量

data_array = []
for item in totfiles.items():
    nc = Dataset('filename', 'r')
    data1 = nc.variables['time'][:]
    data2 = nc.variables['microsec'][:]
    data3 = nc.variables['temperature'][:]
    data4 = nc.variables['humidity'][:]
    data5 = nc.variables['pressure'][:]
    data = ([(data1).tolist(), (data2).tolist(), data3.tolist(), data4.tolist(), data5.tolist()])
    data_array.append(data)
    print type(data)
    for v in data:
        cursor.executemany(smeData, (v,))

当我打印 netCDF 变量数据时，例如时间变量，它看起来像 这个

nc.variables['time'][:] # netCDF variable

我知道了

[1302614127 1302614137 1302614147 ..., 1302614627 1302614647 1302614657]

微秒看起来像

 [0 0 0 ..., 0 0 0]

data_array 看起来像

data_array=  [[1302614127 1302614137 1302614147 ..., 1302614627 1302614647
 1302614657], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [21, 22,34,34....,67,55], [12.2, 12.54, 12.55....,45.54,45.48], [0,0,0...,0,0,00]]

但是如果我打印

for v in data:
    print v 

然后我只在列表中获得了第一个列表，而不是我认为是我的主要问题的其他列表。

[1302614127 1302614137 1302614147 ..., 1302614627 1302614647 1302614657]

如果我尝试执行 cursor.executemany(smeData, (v,)) 命令，它会给我这个错误

mysql.connector.errors.ProgrammingError: Not all parameters were used in 
the SQL statement

我的 MYSQL 插入语法是 我的 MYSQL 语法是

"INSERT INTO `rob-tabl` (`time.val`,`time.microsec`,`temp.degrees`,
`humid.calc`,`pressure.calc`) VALUES (%s,%s,%s,%s,%s)"

就我而言，它是 numpy.float32。我在 MYSQL 中创建了 5 列，我必须将 netCDF 中的数据存储到 db 中。
我是编程新手，我正在学习。如果有人帮助我或给出一些提示，我该如何处理这样的错误。我将非常感谢。 非常感谢。

Answer 1

使用sqlite3而不是MYSQL，但我认为sql会相似

In [709]: import sqlite3
In [711]: conn=sqlite3.connect(":memory:")

定义一个简单的3字段表：

In [714]: conn.execute('create table test (x, y, z)')
Out[714]: <sqlite3.Cursor at 0xa943cb20>

定义一个numpy数组，4个“行”，3个“列”

In [716]: data = np.arange(12).reshape(4,3)
array([[ 0,  1,  2],
       [ 3,  4,  5],
       [ 6,  7,  8],
       [ 9, 10, 11]])

tolist 将其转换为数字列表：

In [735]: data.tolist()
Out[735]: [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 10, 11]]

我可以将它插入到表中：

In [719]: conn.executemany('insert into test values (?,?,?)',data.tolist())
Out[719]: <sqlite3.Cursor at 0xa93dfae0>

并使用以下命令测试插入：

In [720]: for row in conn.execute('select x,y,z from test'):
     ...:     print(row)
     ...:     
(0, 1, 2)
(3, 4, 5)
(6, 7, 8)
(9, 10, 11)

所以它把data.tolist()的每个子列表都写成了表中的一条记录。

我猜您想将 5 个字段写入数据库，对应于每个 Dataset 中的 data1、data2 等。

为了获得更多帮助，我建议包括 create 命令，仅使用一个 Dataset 进行测试，并显示（或汇总）您尝试插入的 dataarray。

创建兼容列表的另一种方法是：

In [736]: data = [np.arange(3).tolist(),np.arange(10,13).tolist(),np.arange(20,23).tolist()]
In [737]: data
Out[737]: [[0, 1, 2], [10, 11, 12], [20, 21, 22]]
In [738]: conn.executemany('insert into test values (?,?,?)',data)
Out[738]: <sqlite3.Cursor at 0xa93df320>
In [739]: for row in conn.execute('select x,y,z from test'):
     ...:     print(row)
     ...:     
....
(0, 1, 2)
(10, 11, 12)
(20, 21, 22)

---

在mysql.connector.errors.ProgrammingError: Failed processing format-parameters;Python 'list' cannot be converted to a MySQL type 中，您尝试保存一个包含 5 个列表的列表，每个子列表有 2000 项长。让我们扩展我的例子。

我有 (3,10) data 数组

In [881]: data
Out[881]: 
array([[  0,   1,   2,   3,   4,   5,   6,   7,   8,   9],
       [ 10,  11,  12,  13,  14,  15,  16,  17,  18,  19],
       [100, 101, 102, 103, 104, 105, 106, 107, 108, 109]])

data.tolist() 将创建一个 3 元素列表，其中包含 10 个元素子列表。

In [884]: conn.executemany('insert into test values (?,?,?)',data.tolist())
---------------------------------------------------------------------------
ProgrammingError                          Traceback (most recent call last)
<ipython-input-884-6788d19a96ab> in <module>()
----> 1 conn.executemany('insert into test values (?,?,?)',data.tolist())

ProgrammingError: Incorrect number of bindings supplied. The current statement uses 3, and there are 10 supplied.

sqlite3 给出的错误与您的 MYSQL 不同，但我认为根本问题是相同的 - 尝试将 10 元素列表或元组写入 3 字段记录。

但如果我先转置数组，我会得到一个包含 10 个子列表的列表

In [885]: conn.executemany('insert into test values (?,?,?)',data.T.tolist())
Out[885]: <sqlite3.Cursor at 0xa6c850a0>
In [886]: for row in conn.execute('select x,y,z from test'):
     ...:     print(row)
....
(0, 10, 100)
(1, 11, 101)
(2, 12, 102)
(3, 13, 103)
(4, 14, 104)
(5, 15, 105)
(6, 16, 106)
(7, 17, 107)
(8, 18, 108)
(9, 19, 109)

转置列表是：

In [887]: data.T.tolist()
Out[887]: 
[[0, 10, 100],
 [1, 11, 101],
 ...
 [9, 19, 109]]

用于“转置”列表的著名 Python 习语使用 zip。它实际上产生了一个元组列表，这可能是一件好事。

In [888]: list(zip(*data))
Out[888]: 
[(0, 10, 100),
 (1, 11, 101),
 (2, 12, 102),
 ....
 (8, 18, 108),
 (9, 19, 109)]

元组列表更容易格式化：

for row in data.T.tolist():
    print('%s,%s,%s'%tuple(row))
for row in zip(*data):
    print('%s,%s,%s'%row)