任务描述
暂无
需求描述
一、背景
将AI模型的数据清理逻辑 与 生成之后的过滤逻辑 抽离出来,解决生成标题速度瓶颈问题。
业务价值:提升AI生成标题速度,满足一天生成2000w 要求;预估50w+
验收人:严海强。


二、需求说明

数据流程:导入待AI重生标题listing--》SKU过滤--》推送AI重生标题任务--》资料准备--》资料清洗--》调用【提问设置】--》调用AI重生标题接口--》初始标题--》生成标题清洗--》存入AI标题库--》匹配listing


2.1、后端实现SKU过滤过滤,用于过滤不需要生成标题的SKU
操作位置:推送AI重生标题任务之前,新增【SKU过滤逻辑】。
逻辑:
1、新增【AI重标题SKU过滤表】:ID,过滤词(含特殊字符),过滤类型(1:产品中文标题过滤,2:中文关键词(实体)过滤,3:多套资料标题过滤),状态(0:不生效,1:生效),添加时间,更新时间,
2、产品中文标题 或 中文关键词(实体) 或 多套资料标题   含有对应类型 【过滤词(含特殊字符)】则该SKU 不推送AI重生标题。

2.2、后端实现资料清洗逻辑,保证推送的个AI的数据正常与稳定
操作位置:资料准备(获取sku资料)之后,新增【资料清洗逻辑】
逻辑:
1、新增【AI重标题SKU资料过滤表】:ID,过滤词(含特殊字符),站点(可设置多个站点),过滤类型(1:特殊争议词,2:颜色词,3:特殊字符),状态(0:不生效,1:生效),添加时间,更新时间。
2、多套资料标题/多套资料亮点/多套资料关键词: 删除特殊争议词,颜色词。特殊字符。
3、产品库中文标题:删除括号和括号里的内容。
4、流量词获取 :优先按真实SKU获取2412词库(取【精准词、宽泛词、特征词】且UnMatchSkuType=0)--》没有词,则再获取07词库(UnMatchSkuType=0)200个词上限 调用 【9b无微调模型跑关键词新版分类v1api接口】 获取 【精准词、宽泛词、特征词】按 【关键词类型排序逻辑】留下32(上限)个词--》按各个站点删除特殊争议词/颜色词/特殊字符--》调用谷歌语种识别,获取翻译后的。
--调用9b模型传参:title:【产品库中文标题】+【产品库英文名称】 拼接一起传入。
--关键词类型排序逻辑:处理逻辑见图。

2.3、新增【AI提问设置管理】(ID,问法版本号,站点,提问格式,资料字段,启用状态,添加时间,更新时间)
--问法版本号:如20250107 按年月日来命名版本
--站点:国家二字码
--提问格式:
我是一个亚马逊{对应国家中文名}站点的卖家,我有以下产品的信息,请结合我的产品相关信息,帮我生成新的亚马逊平台的{对应国家中文名}站点对应的{对应国家语言(中文输入,如英语)}标题5个,单词之间包含空格,字符数量控制在190-199个,需要符合亚马逊搜索算法逻辑,也需要符合用户搜索用语习惯。产品信息需要准确,产品重要信息如功能,属性,颜色,材质不能有错误描述。只需输出{对应国家语言(中文输入,如英语)}标题,无需输出其他解释内容,输出json格式:{"data":["title","title",...]}:
产品实体名称:{产品中文实体}
产品核心关键词:{清洗之后的流量词(多个,从相关单词里面随机抽5个)}
产品关键词:{清洗之后的多套资料关键词(多个)}
产品的{对应国家语言(中文输入,如英语)}标题:{清洗之后的多套资料对应站点标题}
产品的中文参考标题:{清洗之后的中文标题}
产品的核心卖点:{清洗之后的多套资料对应站点五点描述}

--资料字段:对应国家中文名,对应国家语言(中文输入,如英语),清洗之后的流量词(多个),清洗之后的多套资料关键词(多个),清洗之后的多套资料对应站点标题,清洗之后的中文标题,清洗之后的多套资料对应站点五点描述。
--启用状态: 1:启用  2:停用
--添加时间:添加数据时间。
--更新时间:数据发生变更则更新。

注:多套资料对应字段,随机取同一套放入提问


2.4、调用竞品站点语言映射表,用于提示词按站点传值,如图

2.5、调用AI重生标题接口(海强提供AI生成接口)
输入:SKU,站点,提问方式(文本)。
输出:站点,五条对应站点的标题。

2.6、新增 生成标题清洗逻辑,用于控制新生成标题侵权风险
操作位置:AI生成标题之后,进行标题清理。
逻辑:
    1、判断字符数是否满足要求(70-180个字符)
    2、 过逸飞禁售侵权接口
    3、 过公司禁售侵权接口
    4、 再次判断字符数是否满足要求(70-180个字符)
    5、 进行文本清洗(海强提供逻辑):标题生成后处理-文本清洗逻辑梳理 · 钉钉文档
     6、查重

验收标准
按需求验收,将AI模块解耦,释放AI跑数据能力
历史记录  
  1. 2025-03-17 17:09:19, 由 罗友军 创建。
  2. 2025-03-21 17:04:36, 由 张家添 添加备注。

    过滤逻辑

    https://alidocs.dingtalk.com/i/nodes/Gl6Pm2Db8D3kB579tEKmraBeJxLq0Ee4?cid=57554209:469962801&corpId=dingf19b2e3f192a433da39a90f97fcb1e09&doc_type=wiki_doc&iframeQuery=utm_medium=im_card&utm_source=im&utm_medium=im_card&utm_scene=person_space&utm_source=im

    “4、流量词获取”改动,先取2412库,没有词会判断是否有跑词的队列,sku_queue_keywords_smallmodel,没有则推送。注意点,已跑过且2412库还是没有词的情况

  3. 2025-03-24 11:36:28, 由 张家添 添加备注。

    AI重标题SKU过滤表

        过滤类型(1:产品中文标题过滤,2:中文关键词(实体)过滤,3:多套资料标题过滤)

    改为:过滤类型(1:产品中文标题过滤,2:中文关键词(实体)过滤,3:产品英文文标题)

  4. 2025-03-25 19:55:58, 由 张家添 添加备注。

    1、nacos,增加消费端队列配置

    - exchange: "amazon_aititle"     #交换机名
              queue: "amazon_aititle_cleansku"  #队列名
              exchangeType: "direct" #交换机类型(必须小写),可选项:direct、fanout、headers、topic
              routeKey: "amazon_aititle_cleansku"  #路由路径
              ttl: 0           #过期时间(毫秒,默认过期时间为1天)
              fetchCount: 1    #单次获取消息数量

    2、增加服务,aititle检测sku状态,aititle推送待清洗队列

  5. 2025-03-28 11:38:42, 由 张家添 添加备注。

    1、增加AI重标题SKU过滤表,config_filter_sku

    2、增加AI重标题SKU资料过滤表(多套资料过滤),config_filter_sku_info

    3、自测生成任务队列

    3.1、查询产品库,SELECT SKU,ProductName,ProductNameCN,AccurateKeyword,IsGroup FROM [dbo].[RB_Product] WHERE [SKU] = N'19510601' ,中文精准关键词包含“精灵”

    3.2、反写导入队列,SELECT * FROM `zhcxkj_autochoose`.`t_ai_title_import` WHERE `uniqueKey` = 'H0457WJ23MX7U_6641_20250304' LIMIT 0,100

    3.3、SELECT * FROM `zhcxkj_autochoose`.`t_ai_title_1` LIMIT 0,100

    3.4、任务队列,db.getCollection("AiTitleTask_GB").find({"sku" : "19510601"}).limit(100).skip(0),标记为失败,sku是失败的,生成标题吗?

    4、清洗多套资料

    5、提交通用上架队列,记录过滤情况

    db.getCollection("AiTitleDetail_GB").find({"_id" : ObjectId("67c6c7ccc77f0b5846f72b66")}).limit(100).skip(0)


  6. 2025-03-28 11:42:25, 由 张家添 完成。
    修改了 总计消耗,旧值为 "0",新值为 "50"。
    修改了 指派给 ,旧值为 "zhangjiatian",新值为 "luoyoujun"。
    修改了 实际完成,旧值为 "",新值为 "2025-03-28 11:39:03"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2025-03-28 11:42:25"。
    修改了 预计剩余,旧值为 "50",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "zhangjiatian"。
    1、项目:znyf.rebuildTitle

    2、核心代码,AiTitleHandler》buildAITask,submit,cleanSku,push


  7. 2025-03-29 16:31:55, 由 梁秀丽 编辑。
    修改了 最初预计,旧值为 "50",新值为 "33"。
    修改了 任务描述,区别为:
    001-
    001+
    001- <br />
    001+
所属迭代 智能中心-智能选品迭代
所属模块 智能中心-需求池  战略独立项目   智能选品
相关需求 AI重生标题:过滤逻辑优化(过滤推送逻辑后端实现)
指派给 罗友军 于 2025-03-28 11:42:25
任务类型 后端
任务标签 初始
开发组
任务状态 已完成
进度 100%
优先级 P0
关键词
抄送给
由谁创建 罗友军 于 2025-03-17 17:09:19
由谁完成 张家添 于 2025-03-28 11:39:03
由谁取消 暂无
由谁关闭 暂无
关闭原因 暂无
最后编辑 梁秀丽 于 2025-03-29 16:31:55
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 33工时
总计消耗 50工时
预计剩余 0工时
预计开始 2025-03-17
实际开始 2025-03-28
截止日期 2025-03-28