这似乎是基于对 lucene 评分的长度的误解。将 tokens 视为索引文本的原子单元而不是字符是很有用的。 lucene 在评分中考虑的长度是字段中标记的数量。您指示的两个字段都恰好有两个标记。它们的长度相同，因此它们的长度范数也相等，并且不会影响相对得分。
如果您有一个包含三个术语的字段，您实际上会看到长度对分数的影响：
- 字段：“文本 ab”--lengthnorm = 1/√2 = 0.7
- 字段：“文本 abcd”--lengthnorm = 1/√2 = 0.7
- 字段：“text abc def ghi”--lengthnorm = 1/√4 = 0.5
该标准乘以分数，因此最后列出的文档的分数会低一些。
如果您不赞成以术语而不是字符来考虑内容的想法：
由于您正在考虑的长度适用于字符，因此实现这一点肯定会有些违反规定。不过，您在考虑规范方面走在正确的轨道上。这绝对应该在索引时进行预处理并作为标准存储。
您需要在自定义相似性类中实现这一点。我假设我们喜欢DefaultSimilarity 的其余部分，因此您可以扩展它，并覆盖LengthNorm 以使其变得简单。你可以很容易地利用字段偏移来获得：
public class MySimilarity extends DefaultSimilarity {
@Override
public float lengthNorm(FieldInvertState state) {
return state.getBoost() * ((float) (1.0 / Math.sqrt(state.getOffset())));
}
}
你有它。给定文档和查询的测试运行显示：
- 字段：“文本 ab”——总分 = 0.18579213
- 字段：“文本 abcd”——总分 = 0.18579213
- 字段：“文本 abcdefghi”——总分 = 0.1486337
所以，你可以从我添加的较长文档中看到它正在工作，那么为什么“text ab”和“text abcd”仍然具有相同的分数？
规范以超压缩形式存储在单个字节中。它们只有一个 3 位尾数，这使它们的精度略低于 1 个十进制数字。因此，考虑到压缩方案，仅添加这两个字符的差异是不够的。当谈到这种提升时，普遍的看法是：“只有大的差异才重要”（参见the DefaultSimilarity documentation）
所以，“谁在乎在搜索时节省一些内存？细微的差异对我来说很重要！”，我听到你说。
好的，您需要覆盖encodeNorm 和decodeNorm。由于这些在DefaultSimilarity 中是最终的，因此您需要扩展TFIDFSimilarity。我只是从复制DefaultSimilarity 的源代码开始。最后你可以使用这样的东西：
public class MySimilarity extends TFIDFSimilarity {
public MySimilarity() {}
@Override
public float coord(int overlap, int maxOverlap) {
return overlap / (float)maxOverlap;
}
@Override
public float queryNorm(float sumOfSquaredWeights) {
return (float)(1.0 / Math.sqrt(sumOfSquaredWeights));
}
//Since length norms are generally going to leave us with results less than one, multiply
//by a sufficiently large number to not lose all our precision when casting to long
private static final float NORM_ADJUSTMENT = Integer.MAX_VALUE;
@Override
public final long encodeNormValue(float f) {
return (long) (f * NORM_ADJUSTMENT);
}
@Override
public final float decodeNormValue(long norm) {
System.out.println(norm);
return ((float) norm) / NORM_ADJUSTMENT;
}
@Override
public float lengthNorm(FieldInvertState state) {
return state.getBoost() * ((float) (1.0 / Math.sqrt(state.getOffset())));
}
@Override
public float tf(float freq) {
return (float)Math.sqrt(freq);
}
@Override
public float sloppyFreq(int distance) {
return 1.0f / (distance + 1);
}
@Override
public float scorePayload(int doc, int start, int end, BytesRef payload) {
return 1;
}
@Override
public float idf(long docFreq, long numDocs) {
return (float)(Math.log(numDocs/(double)(docFreq+1)) + 1.0);
}
@Override
public String toString() {
return "DefaultSimilarity";
}
}
现在我得到了：
- 字段：“文本 ab”——总分 = 0.2518424
- 字段：“文本 abcd”——总分 = 0.22525471
- 字段：“文本 abcdefghi”——总分 = 0.1839197