MySQL - 文本搜索和数据库结构

Question

这是我当前的数据库结构：

CREATE TABLE `books` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `title` varchar(100) COLLATE utf8_unicode_ci NOT NULL DEFAULT '',
  `year` year(4) NOT NULL DEFAULT '0000',
  `author` varchar(100) COLLATE utf8_unicode_ci NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  UNIQUE KEY `title` (`title`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=1;

CREATE TABLE `chapters` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `book_id` int(10) unsigned NOT NULL DEFAULT '0',
  `number` int(10) unsigned NOT NULL DEFAULT '0',
  `title` varchar(100) COLLATE utf8_unicode_ci NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `book_id` (`book_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=1;

ALTER TABLE `chapters`
  ADD CONSTRAINT `chapters_ibfk_1` FOREIGN KEY (`book_id`) REFERENCES `books` (`id`) ON DELETE CASCADE ON UPDATE CASCADE;

CREATE TABLE `pages` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `book_id` int(10) unsigned NOT NULL DEFAULT '0',
  `chapter_id` int(10) unsigned NOT NULL DEFAULT '0',
  `number` int(10) unsigned NOT NULL DEFAULT '0',
  `text` text COLLATE utf8_unicode_ci NOT NULL,
  `words` int(10) unsigned NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`),
  KEY `book_id` (`book_id`),
  KEY `chapter_id` (`chapter_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=1;

ALTER TABLE `pages`
  ADD CONSTRAINT `pages_ibfk_1` FOREIGN KEY (`book_id`) REFERENCES `books` (`id`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `pages_ibfk_2` FOREIGN KEY (`chapter_id`) REFERENCES `chapters` (`id`) ON DELETE CASCADE ON UPDATE CASCADE;

结构非常简单...基本上我是逐页提取书籍文本并将所有内容存储到我的数据库中，该数据库被组织成书籍>章节>页面系统。我试图使其尽可能灵活，以便我可以轻松地从整本书或章节的角度汇总数据......但如果你认为我可以做得更好，我愿意接受任何建议！

现在，我想允许用户在书中执行关键字搜索...这样他们就可以在他们从下拉列表中选择的书中搜索所有出现的单个单词，甚至是短语。

我的网络服务器不在存储 MySQL 数据库的同一台机器上（我在短期内无法摆脱的技术问题）......所以为了避免两台机器之间的巨大数据流量，我更喜欢通过 SQL 查询运行文本搜索。检索所有页面并使用 PHP 分析它们每次都会转化为 5-10 Mb 的数据。

现在我的问题是：

• 是否可以仅使用查询命令（LIKE、MATCH、REPLACE 等）来执行这种过程？
• 我会通过以下方式获得按页面格式化的结果：[page 1 | 0 次出现], [第 2 页 | 1 次], [第 3 页 | 1 次出现], [第 4 页 | 2 次]...这可能吗？
• 您认为在将页面文本存储到字段pages.text 之前从页面文本中去除空格字符（换行符、制表符等）和标点字符是个好主意吗？

感谢您的帮助！

Answer 1

试试这个：

SELECT p.number, ROUND (   
        (
            LENGTH(p.text)
            - LENGTH( REPLACE ( p.text, "{your string here}", "") ) 
        ) / LENGTH("{your string here}")        
    ) AS count  
FROM pages p
JOIN
chapters c ON c.id = p.chapter_id
JOIN
books b on b.id = c.book_id
WHERE b.title = {your book title}
GROUP BY p.number

-- solution inspired by:
-- http://stackoverflow.com/questions/12344795/count-the-number-of-occurences-of-a-string-in-a-varchar-field

你可以去掉空格，但你可能会遇到几个问题：

• 您还需要去除搜索查询（这不是真正的问题，只是额外的工作）

• 更重要的是，如果您想向用户显示页面的全文，甚至只是摘录，您一开始就不会知道空白字符的位置。

Answer 2

不用担心 MySQL 和应用程序在不同的机器上。 （当然，你需要使用TCP，而不是“localhost”。）“大玩家”就是这样分裂的。

在pages 上有FULLTEXT(text)，然后说

FROM pages AS p
JOIN book AS b ON ...
WHERE MATCH (p.text) AGAINST (...)
  AND b.id = ...

其他说明：

使用合适的GROUP BY，您可以按照您的要求接近页面+计数。

你真的想说“某页出现 0 次吗？如果‘书’有 500 页长怎么办；你真的想要 500 行输出吗？

注意FULLTEXT 搜索的限制（仅词、词干、最小词大小、“停止”词等），如果用户未能遵循这些限制，请处理它们。

有时我会这样做：如果用户在查询中输入* 或%，我会使用REGEXP 或LIKE 而不是FULLTEXT，并警告用户它会变慢。

FULLTEXT 索引将在MATCH 存在时首先使用，然后它会在书上过滤。使用LIKE 或REGEXP，它会在进行繁琐的搜索之前过滤 book_id。注意：这意味着用 PHP（或任何语言）动态“构建”查询。

完成所有（或大部分）工作会减少网络流量，这是您的担忧之一。

无需“剥离”。 FULLTEXT 需要单词边界。

每页计数：

SELECT p.number AS 'PageNumber',
       COUNT(*) AS 'Occurrences'
    ...
    GROUP BY p.id