需求背景:针对标题新规,增加新的标题生成方法,用于其他业务对接
需求实现:
1、新增一个标题生成方法,生成的标题规则命名为 regeneration_new_大模型版本_提示词版本
对接逻辑:
a、提示词调整,在原提示词接口的基础上,调整build_type取值,改成regeneration_260727
b、在原标题规则的基础上修改后处理逻辑
完整的后处理逻辑:
1、首先做新规标题结构标准化
a. 新规模式下,模型输出的标题为 {"main_title":"...","sub_title":"..."} 格式,根据字段名获取对应的标题
b. 主标题、副标题都不能为空;否则直接判失败
2、第一轮长度硬过滤
主/副标题边界:
-
主标题 50 - 75
-
副标题 70 -125
任意一个标题不符合长度需求都重试。
注意:下面的处理部分如果有合并检测的,那就是将主副标题合并起来检测,中间用竖线 | 分隔
3、刊登资料过滤词,根据业务配置的词进行过滤(与现有逻辑一致,主副标题合并起来一起过滤)
-
mongodb://139.9.1.49:8635,139.159.236.63:8635/admin zhcxkj_amazon> db.getSiblingDB("zhcxkj_amazon").getCollection("AutoPublishWordFilterMgoModel") .find({}) .limit(11)
4、再过算法提供的文本清洗功能接口(与现有逻辑一致,主副标题合并起来一起过滤)
5、单词去重处理(暂不处理)
6、公司侵权禁售接口-净化-再侵权检测(与现有逻辑一致,主副标题合并起来一起过滤)
7、连续介词和首尾介词处理(与现有逻辑一致,注意这里主副标题要分开过滤)
8、再判断新规标题字符数,并做超长软修复(与现有逻辑一致,注意这里主副标题要分开过滤)
主标题最大长度:75
副标题最大长度:125
9、第二轮长度硬过滤(与现有逻辑一致,注意这里主副标题要分开过滤)
主/副标题边界:
-
主标题 50 - 75
-
副标题 70 -125
任意一个标题不符合以上长度需求的重试
10、标题查重
a、针对新的标题规则做新查重逻辑,将主副标题拼装做查重(注意从属性表获取的标题也是拼装处理,不要分隔符)
b、将合并后的标题分隔成50个字符一组做查重,这个时候可能存在某一段既包含了主标题,也包含了副标题,注意这一段要去掉间隔符去做查重。
c、如果重复的段不是既包含了主标题又包含了副标题的那段,那依旧走查重优化接口处理,如果是包含了主副标题的那段,则重试重新进行标题生成。
2、同步修改标题生成接口


日本
主标题:大于30
副标题:大于40