如何在mysql中保存大数据？

Question

我有很多大文本文件，我想将它们保存在我的数据库中。我已经编写了一个可以保护少量数据的 shell 脚本，但是当我尝试使用一些大文件时，我得到以下错误：

mysql: Argument list too long

列内容的类型为longtext。

test.txt 有 60 个字，内容安全。 如果我对 austen-emma.txt（有 158167 个字）尝试相同的操作，我会收到描述的错误。

#!/bin/sh

content=`cat /srv/data/english_gutenberg_corpus/test.txt`

db_value=`mysql -u admin -padmin --database=bp12 -e "INSERT INTO db_connector_text (author, date, genre, content, title, language, source, wordlength) VALUES ('lel', '1970-01-16', 'NULL', '$content', 'Lyrische elemente', 'German', 'kp', 20)"`

这个问题有解决办法吗？

Answer 1

/bin/sh 对命令大小有限制，可能只有 5KB。切换到其他处理数据的方式。无论您最终采用哪种数据库方法，您都需要学习一种编程语言（Perl、Java、VB 等）来完成这项工作。

如果你在 MySQL 中使用 LOAD_FILE 函数，你可以坚持使用 sh，但我不推荐它用于任何重要的事情。

大量的大文本文件

您将如何处理这些文件？在网页上显示它们？用一些程序来操纵它们？提供他们的超链接？分析它们的词结构？其他？

我想安全地保存在我的数据库中

请定义“安全”。 “安全”，如防止旁观者？ “崩溃安全”，在您的服务器死机后仍然存在吗？ “防止更改”，与文件权限一样？其他？

Answer 2

我不建议使用关系数据库来存储不同大小的大型文件。

最好使用 NoSQL 数据库，例如 Google 的 Firebase 等。

https://firebase.google.com