从命令行将 mysql 数据库转储到纯文本 (CSV) 备份

Question

我想避免使用 mysqldump，因为它以只方便 mysql 读取的形式输出。 CSV 似乎更通用（每个表一个文件就可以了）。但是，如果 mysqldump 有优势，我会全力以赴。另外，我想要一些可以从命令行（linux）运行的东西。如果那是一个 mysql 脚本，那么如何制作这样的东西的指针会很有帮助。

Answer 1

如果你想将整个数据库转储为 csv

#!/bin/bash

host=hostname
uname=username
pass=password

port=portnr
db=db_name
s3_url=s3://buckera/db_dump/



DATE=`date +%Y%m%d`
rm -rf $DATE

echo 'show tables' | mysql -B -h${host} -u${uname} -p${pass} -P${port} ${db} > tables.txt
awk 'NR>1' tables.txt > tables_new.txt

while IFS= read -r line
do
  mkdir -p $DATE/$line
  echo "select * from $line" | mysql -B -h"${host}" -u"${uname}" -p"${pass}" -P"${port}" "${db}" > $DATE/$line/dump.tsv
done < tables_new.txt

touch $DATE/$DATE.fin


rm -rf tables_new.txt tables.txt

Answer 2

有一种更简单的方法可以让所有表格快速进入制表符分隔：

#!/bin/bash
tablenames=$(mysql your_database -e "show tables;" -B |sed "1d")

IFS=$'\n'

tables=($tablenames)

for table in ${tables[@]}; do
        mysql your_database -e "select * from ${table}" -B > "${table}.tsv"
done

Answer 3

您可以使用mysqldump's --tab 选项一次性转储整个数据库。您提供一个目录路径，它会创建一个具有CREATE TABLE DROP IF EXISTS 语法的.sql 文件和一个带有内容的.txt 文件，制表符分隔。要创建逗号分隔的文件，您可以使用以下内容：

mysqldump --password  --fields-optionally-enclosed-by='"' --fields-terminated-by=',' --tab /tmp/path_to_dump/ database_name

该路径需要 mysql 用户和运行命令的用户都可写，因此为简单起见，我建议首先使用 chmod 777 /tmp/path_to_dump/。

Answer 4

两行 PowerShell 答案：

# Store in variable
$Global:csv = (mysql -uroot -p -hlocalhost -Ddatabase_name -B -e "SELECT * FROM some_table") `
| ConvertFrom-Csv -Delimiter "`t"

# Out to csv
$Global:csv | Export-Csv "C:\temp\file.csv" -NoTypeInformation

嘭嘭嘭

-D = 您的数据库名称

-e = 查询

-B = 制表符分隔

Answer 5

您可以使用下面的脚本来获取 csv 文件的输出。每个表一个文件，带有标题。

for tn in `mysql --batch --skip-page --skip-column-name --raw -uuser -ppassword -e"show tables from mydb"`
do 
mysql -uuser -ppassword mydb -B -e "select * from \`$tn\`;" | sed 's/\t/","/g;s/^/"/;s/$/"/;s/\n//g' > $tn.csv
done

user 是您的用户名，如果您不想为每个表输入密码，password 是密码，mydb 是数据库名称。

脚本说明：sed 中的第一个表达式将用“，”替换制表符，因此您的字段用双引号括起来并用逗号分隔。第二个在开头插入双引号，第三个在末尾插入双引号。最后一个负责\n。

Answer 6

这是最简单的命令

mysql -h<hostname> -u<username> -p<password> -e 'select * from databaseName.tableNaame' | sed  's/\t/,/g' > output.csv

如果列值中有逗号，那么我们可以使用以下命令生成 .tsv 而不是 .csv

mysql -h<hostname> -u<username> -p<password> -e 'select * from databaseName.tableNaame' > output.csv

Answer 7

select into outfile 选项对我不起作用，但以下通过 SED 管道制表符分隔文件的迂回方式可以：

mysql -uusername -ppassword -e "SELECT * from tablename" dbname | sed 's/\t/","/g;s/^/"/;s/$/"/' > /path/to/file/filename.csv

Answer 8

查看mk-parallel-dump，它是永远有用的maatkit suite of tools 的一部分。这可以使用 --csv 选项转储逗号分隔的文件。

这可以在不指定单个表的情况下完成整个数据库，并且您可以在备份集表中指定表组。

请注意，它还将表定义、视图和触发器转储到单独的文件中。除了以更普遍可访问的形式提供完整备份之外，它还可以通过mk-parallel-restore 立即恢复

Answer 9

如果您真的需要“备份”，那么您还需要数据库模式，例如表定义、视图定义、存储过程等。数据库的备份不仅仅是数据。

mysqldump 格式备份的价值在于，用它来恢复mysql数据库非常容易。不容易恢复的备份的用处要小得多。如果您正在寻找一种可靠地将 mysql 数据备份到的方法，以便您可以恢复到 mysql 服务器，那么我认为您应该坚持使用 mysqldump 工具。

Mysql 是免费的，可以在许多不同的平台上运行。设置一个我可以恢复到的新 mysql 服务器很简单。我一点也不担心无法设置 mysql，所以我可以进行恢复。

我会更担心基于 csv/tsv 等脆弱格式的自定义备份/恢复失败。您确定数据中的所有引号、逗号或制表符都会正确转义，然后由您的还原工具正确解析吗？

如果您正在寻找一种提取数据的方法，请在其他答案中查看几个。

Answer 10

如果您可以处理一次一张表，并且您的数据不是二进制的，请使用mysql 命令的-B 选项。使用此选项，它将生成 TSV（制表符分隔）文件，这些文件可以很容易地导入 Excel 等：

% echo 'SELECT * FROM table' | mysql -B -uxxx -pyyy database

或者，如果您可以直接访问服务器的文件系统，请使用SELECT INTO OUTFILE，它可以生成真正的 CSV 文件：

SELECT * INTO OUTFILE 'table.csv'
    FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
    LINES TERMINATED BY '\n'
FROM table

Answer 11

在 MySQL 本身中，您可以指定 CSV 输出，例如：

SELECT order_id,product_name,qty
FROM orders
INTO OUTFILE '/tmp/orders.csv'
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'

来自http://www.tech-recipes.com/rx/1475/save-mysql-query-results-into-a-text-or-csv-file/