如何在 Python 中从数据库创建 CSV 文件？

Question

我有一个名为“clients”的 Sqlite 3 和/或 MySQL 表..

使用 python 2.6，如何创建一个名为 Clients100914.csv 的带有标题的 csv 文件？ 擅长方言...

Sql 执行：select * 只给出表格数据，但我想要完整的带有标题的表格。

如何创建记录集以获取表头。表头应该直接来自不是用 python 编写的 sql。

w = csv.writer(open(Fn,'wb'),dialect='excel')
#w.writelines("header_row")
#Fetch into sqld
w.writerows(sqld)

这段代码让我打开了文件并且没有标题。也无法弄清楚如何将文件用作日志。

Answer 1

import csv
import sqlite3

from glob import glob; from os.path import expanduser
conn = sqlite3.connect( # open "places.sqlite" from one of the Firefox profiles
    glob(expanduser('~/.mozilla/firefox/*/places.sqlite'))[0]
)
cursor = conn.cursor()
cursor.execute("select * from moz_places;")
with open("out.csv", "w", newline='') as csv_file:  # Python 3 version    
#with open("out.csv", "wb") as csv_file:              # Python 2 version
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow([i[0] for i in cursor.description]) # write headers
    csv_writer.writerows(cursor)

PEP 249 (DB API 2.0) 有更多关于cursor.description 的信息。

Answer 2

使用csv module 非常简单，适合这项任务。

import csv
writer = csv.writer(open("out.csv", 'w'))
writer.writerow(['name', 'address', 'phone', 'etc'])
writer.writerow(['bob', '2 main st', '703', 'yada'])
writer.writerow(['mary', '3 main st', '704', 'yada'])

精确创建您期望的格式。

Answer 3

您可以轻松地手动创建它，使用选定的分隔符编写文件。你也可以使用csv module。

如果它来自数据库，您也可以只使用来自您的 sqlite 客户端的查询：

sqlite <db params> < queryfile.sql > output.csv

这将创建一个带有制表符分隔符的 csv 文件。

Answer 4

如何从现有表格中提取列标题：

您不需要解析 SQL“创建表”语句。这很幸运，因为“创建表”语法既不好也不干净，它是 warthog-ugly。 p>

您可以使用table_info 编译指示。它为您提供有关表中每一列的有用信息，包括列的名称。

例子：

>>> #coding: ascii
... import sqlite3
>>>
>>> def get_col_names(cursor, table_name):
...     results = cursor.execute("PRAGMA table_info(%s);" % table_name)
...     return [row[1] for row in results]
...
>>> def wrong_way(cur, table):
...     import re
...     cur.execute("SELECT sql FROM sqlite_master WHERE name=?;", (table, ))
...     sql = cur.fetchone()[0]
...     column_defs = re.findall("[(](.*)[)]", sql)[0]
...     first_words = (line.split()[0].strip() for line in column_defs.split(','))
...     columns = [word for word in first_words if word.upper() != "CONSTRAINT"]
...     return columns
...
>>> conn = sqlite3.connect(":memory:")
>>> curs = conn.cursor()
>>> _ignored = curs.execute(
...     "create table foo (id integer, name text, [haha gotcha] text);"
...     )
>>> print get_col_names(curs, "foo")
[u'id', u'name', u'haha gotcha']
>>> print wrong_way(curs, "foo")
[u'id', u'name', u'[haha'] <<<<<===== WHOOPS!
>>>

现在已删除的“解析创建表 SQL”答案的其他问题：

1. 填充例如create table test (id1 text, id2 int, msg text, primary key(id1, id2)) ... 不仅需要忽略CONSTRAINT，还需要忽略关键字PRIMARY、UNIQUE、CHECK 和FOREIGN（参见create table 文档）。

2. 需要指定re.DOTALL以防SQL中有换行符。

3. 在line.split()[0].strip() 中，strip 是多余的。

Answer 5

这很简单，对我来说效果很好。

假设您已经连接到数据库表并且还获得了一个游标对象。所以从那一点开始。

import csv
curs = conn.cursor()
curs.execute("select * from oders")
m_dict = list(curs.fetchall())

with open("mycsvfile.csv", "wb") as f:
    w = csv.DictWriter(f, m_dict[0].keys())
    w.writerow(dict((fn,fn) for fn in m_dict[0].keys()))
    w.writerows(m_dict)

Answer 6

除非我错过了什么，否则你只想做这样的事情......

f = open("somefile.csv")
f.writelines("header_row")

将行写入文件的逻辑（您可能需要组织值并添加通信或管道等...）

f.close()

Answer 7

使用 pandas 和 sqlite3 可以轻松完成。延伸到 Cristian Ciupitu 的回答。

import sqlite3
from glob import glob; from os.path import expanduser
conn = sqlite3.connect(glob(expanduser('data/clients_data.sqlite'))[0])
cursor = conn.cursor()

现在使用 pandas 读取表格并写入 csv。

clients = pd.read_sql('SELECT * FROM clients' ,conn)
clients.to_csv('data/Clients100914.csv', index=False)

这样更直接，而且一直有效。

Answer 8

以下代码适用于带有 Python 3.6 的 Oracle：

import cx_Oracle
import csv

# Create tns
dsn_tns=cx_Oracle.makedsn('<host>', '<port>', service_name='<service_name>')

# Connect to DB using user, password and tns settings
conn=cx_Oracle.connect(user='<user>', password='<pass>',dsn=dsn_tns)
c=conn.cursor()

#Execute the Query
c.execute("select * from <table>")

# Write results into CSV file
with open("<file>.csv", "w", newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow([i[0] for i in c.description]) # write headers
    csv_writer.writerows(c)