一、 需求背景
当前 v266 版本中,系统直接使用关键词总库自带的RerankSimilarity(重排序综合得分)字段作为质量评分依据,在原有流程中不经过初筛,而是直接被信任并进入后续处理链路。
在业务实践中发现:
-
非人工来源的关键词中,存在部分向量嵌入相似度极低(embedding < 0.7)的情况,其语义相关性不足,直接使用会引入噪声。(注:低相似度关键词的具体占比,数分暂未统计计算)
-
因此,本轮迭代需针对非人工来源的关键词增加基于embedding相似度的硬性过滤规则(需满足embedding ≥ 0.7);同时,人工审核来源的关键词继续保持优先采用且不校验相似度。
二、 需求描述
系统在挑选和填充 ST 关键词时,按以下两级规则依次执行:
1. 优先级一:人工来源关键词(优先采用 · 不校验)
-
涵盖类型:MulMaterialType、AuditAccurateType、AuditSTType
-
处理规则:优先采用,使用时不校验embedding相似度。
2. 优先级二:其他来源关键词(保底补充 · 需校验)
-
使用条件:当人工来源关键词使用完毕后,若 ST 仍有空间,再使用其他来源的关键词。
-
过滤条件:必须满足embedding 相似度 ≥ 0.7才可使用,小于 0.7 的不使用。
- 优先采用梯队一的词,梯队一的关键词不足时再使用梯队二的词
三、 技术实现与字段说明(开发关注)
-
RerankSimilarity字段:
-
本次迭代逻辑中,不再判断RerankSimilarity字段。
-
-
embedding 相似度字段:
-
数据库表中已有离线模型预先计算好的embedding 相似度得分字段。
-
开发在实现本过滤逻辑时,无需在代码中实时调用向量模型进行文本匹配计算,直接读取数据库中该现成字段的值做≥ 0.7的数值判断即可。
-
-
新旧逻辑变更对比:
-
旧逻辑(v266):直接依据RerankSimilarity字段评估。
-
新逻辑:人工词直接优先采用;非人工词完全不看RerankSimilarity,改为直接读取embedding 相似度字段做≥ 0.7的硬性过滤。
-