SOLR 索引任意数据

Question

假设您有一个简单的表单自动化应用程序，并且您想要索引 Solr 集合中每个提交的表单。假设表单内容是开放式的，因此用户可以在表单上创建自定义字段等等。

由于用户可以定义自定义表单，因此您无法真正为 Solr 预定义字段，因此我们一直在使用 Solr 的“无模式”或托管模式模式。它工作得很好，除了一个问题。

假设一个表单带有一个名为“ID”的字段和一个值为“9”的字段。如果这是 Solr 第一次看到一个名为“ID”的字段，它会尽职地更新它的模式，并且由于该字段的值是数字，Solr 为其分配一个数字数据类型的数据类型（我们看到“plong “ 很多）。

现在，假设第二天，有人提交了相同表单的另一个实例，但在 ID 字段中，他们输入了自己的姓名，而不是输入数字。 Solr 将其吐出并且不会索引此记录，因为架构说 ID 应该是数字，但在此记录上，它不是。

到目前为止，我们处理这个问题的方法是捕获当字段的数据类型与架构不一致时我们得到的异常，然后我们使用 Solr API 来更改架构，使有问题的字段成为文本或字符串而不是数字。

当然，当我们这样做时，我们需要重新索引整个集合，因为架构发生了变化，因此我们需要保留所有原始数据，以防万一我们需要在这些架构数据之一之后重新索引所有内容 -类型冲突。我们是 Solr 的忠实粉丝，但与此同时，我们想知道使用搜索引擎的好处是否超过了用户只需在以前的数字字段中输入字符数据而触发的所有这些额外工作。

有没有办法让 Solr 总是为每个字段分配类似“text_general”的东西，或者还有其他更好的方法吗？

Answer 1

我想说您可能需要在应用程序端处理 Id 值。 最好为Id 添加一个验证，即Id 应该是string 或numberic。 这将永久解决您的问题。如果确定了这种类型，则您无需在 solr 端执行任何操作。

另一种方法是使用固定的schema.xml。 在此添加一个字段Id 和一个固定的fieldType。 如果不希望它标记数据并希望在搜索中完全匹配，我建议您使用string 作为 ID 的 fieldType。

如果您希望灵活地搜索Id 字段，则可以为该字段添加text_general 字段类型。

您也可以创建自己的fieldType，并根据您对字段Id的要求提供tokenizer和filter。

也不要在生产中使用无模式模式。您还可以将字段名称映射到动态字段定义。为文本字段创建一个动态字段，例如 *_t。您所有以_t 结尾的字段都将映射到此。