需求背景
由于数据已生成的数据提交到通用上架队列处理有查重逻辑的存在,导致上传至通用上架队列积压,现在要优化查重逻辑,提高上传效率。

需求内容
以2026.6.1上传数据为例,处理的数据中为关键词查重不通过导致的共 65170 条
这部分数关键词字符数分布情况如下

在处理的全量数据中,关键词字符数分布情况如下,其中关键词字符数 >=450 的数据占当天全量数据的77.98%,而失败占比只有0.57%,这部分数据不进行查重可大幅提高我们数据上传效率

调整环节:
在上传通用上架队列时,如果关键词字符数>=450,将不进行查重
需求实现:
1、暂时先修改文案优化服务,针对ST的查重,修改为进入查重之前,如果关键词字符数大于等于450,则不进行查重操作
2、核心代码:
3、自测:db.getCollection("AiTitleGptQueue_DE").find({"orderSourceSku" : "22X19WSN147H1MINJAG5H6"}).limit(100).skip(0)
* and environment: Development and "不需要查重" and className: "com.zhcxkj.znyf.integration.amazon.application.rebuildTitle.service.buryword.BurywordConfigCommonService"