暂无
任务描述
需求描述
一、背景
目前人工同质化过滤逻辑效果比较不错，需将同质化逻辑同步到系统自动提报。
业务价值：减少同质化，提升智能选品开发成功率，预估50000.
验收人：刘昊林
二、需求说明
流程：智能选品外部选品数据--》同质化过滤（1、外部数据AI同质化。2、图文相似过滤）--》推送到ERP。
2.1、智能选品系统提供流程新增同质化过滤
1、操作位置：智能选品--系统提报
2、进行同质化两重过滤逻辑：
第1重，标题相似过滤，外部数据查重：
1）AI同质化过滤判断模型（得到同质化外部数据）：
词频统计相似矩阵，给定相似度阈值0.45，相似的同类标题给定相同的编号，从中只取一条推送。
标题处理：所有站点全部转化为英文标题对比
2）同质化外部数据筛选，只取一条的推送规则：
①实际30天销量
②大类排名预计的销量
如①有销量则①优先，降序取第一条；无值则以②的销量降序取第一条
注：用到了AI模型，需要部署AI模型，找刘昊林进行协助部署。
第2重，图文相似过滤，内部产品库查重（下面每个条件都需要检测）：
1）相似SKU定义：图片相似度与文本相似度同时大于0.85。
2）相似SKU不包含 非仿牌 且 不等于空（即 相似SKU全为仿牌）
3）相似SKU含有 高危
4）占比( 相似SKU去重数/SKU去重数 )超20% 且 相似SKU近1年销量=0
图片相似度接口：
http://imagesimilarity-local.zhcxkj.com/ImageSimilarity
{
"image1": "https://irobotbox-hd1.oss-cn-hangzhou.aliyuncs.com/1/2244225/2019-03-21/1a79b88d0fd44adc86d1c8314d0d638c/d22847da-03ea-46d3-8cf7-d6def93a100d.jpg",
"image2": "https://m.media-amazon.com/images/I/71d0p52s6BL.jpg"
}
文本相似度接口：
http://en-categor-similarity.zhcxkj.com/EnglishSimilarity
{
"title":
"Fluidmaster K-507A-008 通用 2 英寸可调节马桶冲水阀维修套件，带马桶工具多色"
,
"keywordlist": [
"不锈钢马桶管道疏通器一炮通"
]
}
注：人工提报逻辑不加，线下人工处理。
三、需求说明
每周1智能选品正常提报数3200个数量。
目前人工同质化过滤逻辑效果比较不错，需将同质化逻辑同步到系统自动提报。
业务价值：减少同质化，提升智能选品开发成功率，预估50000.
验收人：刘昊林
二、需求说明
流程：智能选品外部选品数据--》同质化过滤（1、外部数据AI同质化。2、图文相似过滤）--》推送到ERP。
2.1、智能选品系统提供流程新增同质化过滤
1、操作位置：智能选品--系统提报
2、进行同质化两重过滤逻辑：
第1重，标题相似过滤，外部数据查重：
1）AI同质化过滤判断模型（得到同质化外部数据）：
词频统计相似矩阵，给定相似度阈值0.45，相似的同类标题给定相同的编号，从中只取一条推送。
标题处理：所有站点全部转化为英文标题对比
2）同质化外部数据筛选，只取一条的推送规则：
①实际30天销量
②大类排名预计的销量
如①有销量则①优先，降序取第一条；无值则以②的销量降序取第一条
注：用到了AI模型，需要部署AI模型，找刘昊林进行协助部署。
第2重，图文相似过滤，内部产品库查重（下面每个条件都需要检测）：
1）相似SKU定义：图片相似度与文本相似度同时大于0.85。
2）相似SKU不包含 非仿牌 且 不等于空（即 相似SKU全为仿牌）
3）相似SKU含有 高危
4）占比( 相似SKU去重数/SKU去重数 )超20% 且 相似SKU近1年销量=0
图片相似度接口：
http://imagesimilarity-local.zhcxkj.com/ImageSimilarity
{
"image1": "https://irobotbox-hd1.oss-cn-hangzhou.aliyuncs.com/1/2244225/2019-03-21/1a79b88d0fd44adc86d1c8314d0d638c/d22847da-03ea-46d3-8cf7-d6def93a100d.jpg",
"image2": "https://m.media-amazon.com/images/I/71d0p52s6BL.jpg"
}
文本相似度接口：
http://en-categor-similarity.zhcxkj.com/EnglishSimilarity
{
"title":
"Fluidmaster K-507A-008 通用 2 英寸可调节马桶冲水阀维修套件，带马桶工具多色"
,
"keywordlist": [
"不锈钢马桶管道疏通器一炮通"
]
}
注：人工提报逻辑不加，线下人工处理。
三、需求说明
每周1智能选品正常提报数3200个数量。
验收标准
每周1智能选品正常提报数3200个数量。
增加服务PutErpCron，里面包含四个服务，只校验亚马逊平台且非FBA
1、将Put_Erp待提报数据，同步到同质化检测列表，mongdb》Put_Homogeny，条件：满足提报总数
2、同质化数据检测，mongdb》Put_Homogeny同质化检测结果，同步到mysql》Put_Erp，将同质化数据标记为3，条件：满足提报总数，并且检测列表的状态等于1，销量已采集
3、同质化数据，重新提交。将Put_Erp上周的记录，提报状态为3的改为0，并以当前周期推送到Put_Homogeny，等待本周的同质化检测
4、Put_Homogeny清理服务，保留最近一个月的数据
提报临时表put_erp增加字段
ALTER TABLE `zhcxkj_autochoose`.`put_erp`
ADD COLUMN `TitleEn` varchar(255) NULL COMMENT 'asin英文标题' AFTER `ApplicationNumber`,
ADD COLUMN `SiteCode` varchar(10) NULL COMMENT '站点' AFTER `TitleEn`,
ADD COLUMN `SalesPlatformId` int NULL COMMENT '平台' AFTER `SiteCode`,
ADD COLUMN `Status` int NULL COMMENT '同质化检测状态' AFTER `SalesPlatformId`;
mongdb》Put_Homogeny，字段说明
UniqueId：唯一键 asin+CycleTime
Asin：asin
CycleTime：提报周期
SiteCode：站点
Title：标题
ImgUrl：asin图片
AddTime：添加时间
UpdateTime：修改时间
Status：状态 0-待处理，1-处理中，2-成功，3-失败
HomogenyAsin：同质asin
Remark：备注
Skus：图搜sku（对象，见字段说明2）
SalesPlatformId：平台id
StatusSale：销量采集状态，0-待采集，2-成功，3-失败
SaleNum：实际近30天销量
SaleExpect：预估30天的销量
字段说明2
Sku：图搜sku
Score：图搜相似度
Name：sku中文标题
RiskLevelType：产品风险等级 1高危 2普通
ProductProperty：产品侵权风险
IsAlike：是否相似品
Similarity：文本相似度
加一个同质化可处理的开关，数据分析端要使用的话，结束之后，请反写Status=1，这一点梁炬判断是否使用，不做硬性要求
db.getCollection("HotColdDictionary").find({"TypeName" : "Put_Erp:Homogency"}).limit(10).skip(0)