背景:新架构需支持智能刊登/文案优化按指定实体来源生成标题,实体来源从单一首套扩展为首套、全套可选。
数据: 全套资料抽取SKU准确率91%,高于首套84%;实体类型准确率98.93%;实体数量4187个,比首套2422个提升72.87%。
改动: 指定listing刊登、刷新资料服务新增“实体类型”和“实际使用实体类型”字段;全套资料先抽取并落库,后续按字段注入prompt。
具体需求看文档
https://alidocs.dingtalk.com/i/nodes/ZgpG2NdyVXron7GvcGknjLO78MwvDqPk?utm_scene=person_space
需求实现:
一、实体抽取服务
1、存储变化
a、新增一个实体抽取信息表,记录SKU,实体信息,实体类型(目前包括以下两个类型),以SKU+实体类型为主键

b、在统一刊登资料库中增加实体信息字段,记录实体信息,字段包括 实体信息和类型(注意实体信息是SKU维度保存的,统一资料是SKU+站点,这里统一使用一样的实体信息,即英文的实体信息)
2、新增一个实体抽取的任务表,任务表包括SKU+实体类型,目前增量推送的任务来自于多套资料变更,后续有其他来源再增加
初始化:全量所有真实SKU,筛选范围与统一刊登资料逻辑一致,推送两条任务,分别是实体类型1和2的任务。
增量数据来源
a、多套资料变更触发,参考这个需求:https://pm.zhcxkj.com/zentao/story-view-34074.html,也是推送两条任务,分别是实体类型1和实体类型2
b、统一刊登资料汇总的时候,实体信息表中缺失实体的数据,推送一条任务到实体抽取任务表,也是推送两条任务,分别是实体类型1和实体类型2
3、新增一个实体抽取的处理服务,根据任务表的数据进行处理
传参根据上面的类型说明来处理,全套抽取的时候需要传全部的资料,选取英语资料拼装请求即可
接口文档http://showdoc.zhcxkj.com/web/#/118/6444
4、调整统一资料汇总服务,汇总的时候增加从实体抽取信息表中获取SKU的所有实体信息保存到表里面
二、刊登服务
针对以下两个服务进行功能调整:
-
指定 listing 刊登(含 SKU),增加两个字段,分别是实体类型和实际使用实体类型
-
指定 listing 刷新资料(含 SKU),增加两个字段,分别是实体类型和实际使用实体类型
刊登的时候如果业务在表中指定了实体类型,则在调用标题提示词接口的时候将指定的实体类型传入,如果该实体类型无法获取到,则不传,在刊登回写状态时将具体使用的实体类型回写到任务表中,没有获取到实体类型的记录为0
提示词接口:http://showdoc.zhcxkj.com/web/#/118/6447



实体抽取接口新增一个产品信息字段,用于实体抽取接口做产品信息校验,字段取值如下:如果有值就是具体的内容,获取不到的字段填None
erp_info = {
# 来自 RB_Product 表
"ProductSize": "L" | None, # 产品尺码(运营手工录入)
"ProductColor": "Black" | None, # 产品颜色(运营手工录入)
"ProductMaterial": "Stainless Steel" | None, # 产品材质(运营录入,未被使用)
"ProductGroupSKU": "ABC123" | None, # 父 SKU / 变体组 SKU
"Length": 20.5 | None, # 产品长(cm)
"Width": 15.0 | None, # 产品宽(cm)
"Height": 10.0 | None, # 产品高(cm)
# 来自 RB_Product_Declaration 表
"DeclarationMaterial": "stainless steel, silicone" | None, # 报关材质
}