Lucene检索模型 IR-LAB 胡晓光

检索模型 检索模型是一个四元组[D, Q, F, R(qi, dj)] D: 文档集的机内表示 Q: 用户需求的机内表示 F: 文档表示、查询表示和它们之间的关系的模型框架(Frame) R(qi, dj): 给query qi 和document dj评分

空间向量模型 把索引中的每个词作为空间的一个维度 把每一篇文档作为空间中的一个向量 把每一个查询也作为空间中的一个向量 通过计算文档和查询的内积或余弦等来表示文档和查询的相关程度

余弦相似度计算

词项的权重 根据词项在文档( tf)和文档集( idf)中的频率(frequency)计算词项的权重 tf(i , j) = 词项j在文档i中的频率 df( j ) = 词项j的文档频率= 包含词项j的文档数量 idf( j ) = 词项j的反文档频率= log2( N/ dfj)

词项的权重 文档中词项的权重 查询中词项的权重 w i,j= tf i,j * idf i 其中tf i,j可以先归一化处理 tfi,j = tfi,j / maxk tf k,j 查询中词项的权重 Salton and Buckley推荐公式 wi,q = (0.5 + 0.5*tfi,q/maxk tfk,q) * idfi

TermQuery TermQuery为Lucene支持的最简单的查询方式 Query为一个关键词Term TermQuery的计算公式 score = sqrt(freq) * idf * boost * norm idf = ln(maxDoc/(docFreq + 1) )+ 1.0 norm = fieldboost / sqrt(fieldlength) 结论 其中的idf和boost值与文档无关 不影响排名 排名因子 sqrt(freq) * fieldboost / sqrt(fieldlength) fieldboost人为赋予的经验值 默认值都为1.0 此时lucene按照单位长度的文档包含的关键词个数freq/fieldlength来排列相关文档

BooleanQuery BooleanQuery是一种复合式的Query 支持多种不同Query的逻辑组合 BooleanQuery例子 ＋俄罗斯 恐怖 事件 －美国 ＋（俄罗斯 美国) 恐怖 事件 可以对不同的query赋予不同的boost值表示该query在整个BooleanQuery中的重要程度 例如: 俄罗斯3.0 恐怖2.0 事件1.0

BooleanQuery分值计算 计算查询的querynorm 计算每个查询的Term和匹配文档的分值 对每篇匹配文档计算总得分 querynorm = boost / sqrt(∑i idfi*idfi*boosti*boosti) 计算每个查询的Term和匹配文档的分值 weight = queryWeight * fieldWeight; queryWeight = boost * idf * querynorm; fieldWeight = tf * idf * fieldnorm; 对每篇匹配文档计算总得分 score = coord * (∑i weight i ) coord = 匹配词项数/总词项数

BooleanQuery计算公式 整理可得计算公式如下 scorej = coordj*∑i(boost i*idf i*tfi,j*idf i*fieldnorm) / sqrt(∑i (idf i *idf i *boost i *boost i)) fieldnorm = fieldboost / sqrt(fieldlength) 其中sqrt(∑i (idf i *idf i *boost i *boost i))和文档无关，不会影响文档的排名

Lucene检索模型 标准向量空间模型 一种简化的空间向量模型 文档中词项的权重 查询中词项的权重 w i,j = tfi,j*idf i wi,q = boost q*idf q 标准向量空间模型 一种简化的空间向量模型 文档中词项的权重 w i,j = tfi,j*idf i 查询中词项的权重 wi,q = boost q*idf q 文档向量模∣ dj∣≈sqrt(fieldlength) ∣ dj∣≈sqrt(fieldlength)

逻辑操作对分值计算的影响 Lucene支持的逻辑操作例子 对于强制符号+ 和－会首先对匹配结果进行过滤去除不符合条件的文档 ＋俄罗斯 恐怖 事件 －美国 ＋（俄罗斯 美国) 恐怖 事件 对于强制符号+ 和－会首先对匹配结果进行过滤去除不符合条件的文档 然后对剩下的文档根据和每个关键词的相关程度计算得分

Lucene检索实例 有三篇文本 内容如下 按照缺省方式建索引 fieldboost = 1.0 aaa.txt: bbb.txt: You are a student. He is a student. bbb.txt: I am a student. ccc.txt: Lee is a student.He comes from China. 按照缺省方式建索引 fieldboost = 1.0 根据公式fieldnorm = fieldboost / sqrt(fieldlength) 首先可算得fieldnorm分别为 0.3125，0.5，0.3125 注意 norm在实现时只用了1个字节表示 故误差较大

Lucene检索实例 现在输入查询 student 计算每篇文档分值 可得计算结果如下 文档 docFreq idf freq norm score = sqrt(freq) * idf * boost * norm idf = ln(maxDoc/(docFreq + 1) )+ 1.0 可得计算结果如下 文档 docFreq idf freq norm score aaa 3 0.7123 2 0.3125 0.3148 bbb 1 0.5 0.3561 ccc 0.2225

Lucene检索实例 输入多个关键词 student china 可得计算结果如下 文档 student china coord score scorej = coordj*∑i(boost i*idf i*tfi,j*idfi*fieldnorm) / sqrt(∑i (idf i *idf i *boost i *boost i)) 可得计算结果如下 文档 queryNorm student china coord score aaa 0.6346 0.1423 0.0 0.5 0.0711 bbb 0.1610 0.0805 ccc 0.1006 0.3917 1.0 0.4923

Any Question?