一、背景
目前人工同质化过滤逻辑效果比较不错，需将同质化逻辑同步到系统自动提报。
业务价值：减少同质化，提升智能选品开发成功率，预估50000.
验收人：刘昊林

二、需求说明

流程：智能选品外部选品数据--》同质化过滤（1、外部数据AI同质化。2、图文相似过滤）--》推送到ERP。

2.1、智能选品系统提供流程新增同质化过滤

1、操作位置：智能选品--系统提报

2、进行同质化两重过滤逻辑：
第1重，标题相似过滤，外部数据查重：

1）AI同质化过滤判断模型（得到同质化外部数据）：
词频统计相似矩阵，给定相似度阈值0.45，相似的同类标题给定相同的编号，从中只取一条推送。
标题处理：所有站点全部转化为英文标题对比

2）同质化外部数据筛选，只取一条的推送规则：
①实际30天销量
②大类排名预计的销量
如①有销量则①优先，降序取第一条；无值则以②的销量降序取第一条

注：用到了AI模型，需要部署AI模型，找刘昊林进行协助部署。


第2重，图文相似过滤，内部产品库查重（下面每个条件都需要检测）：

    1）相似SKU定义：图片相似度与文本相似度同时大于0.85。
    2）相似SKU不包含 非仿牌 且 不等于空（即 相似SKU全为仿牌）
    3）相似SKU含有 高危
    4）占比( 相似SKU去重数/SKU去重数 )超20% 且 相似SKU近1年销量=0

图片相似度接口：

http://imagesimilarity-local.zhcxkj.com/ImageSimilarity

{
        "image1": "https://irobotbox-hd1.oss-cn-hangzhou.aliyuncs.com/1/2244225/2019-03-21/1a79b88d0fd44adc86d1c8314d0d638c/d22847da-03ea-46d3-8cf7-d6def93a100d.jpg",
        "image2": "https://m.media-amazon.com/images/I/71d0p52s6BL.jpg"
    }


文本相似度接口：

http://en-categor-similarity.zhcxkj.com/EnglishSimilarity

{
    "title":
"Fluidmaster K-507A-008 通用 2 英寸可调节马桶冲水阀维修套件，带马桶工具多色"

    ,
    "keywordlist": [
        "不锈钢马桶管道疏通器一炮通"
        ]
}



注：人工提报逻辑不加，线下人工处理。

三、需求说明
每周1智能选品正常提报数3200个数量。

每周1智能选品正常提报数3200个数量。