暂无
任务描述
需求描述
一、背景
原因:关键词找Asin每月全量采集一次,数据量过大,原有流程存在瓶颈,需要进行提升优化
业务价值:将竞品快速入库;预估100000。
验收人:李育贵。
二、需求说明
功能点:
1、新增表:External_Sku_Category(SKU末级类目表),External_Sku_Asin_New
(SKU竞品ASIN表,ASIN维度)
2、废除表:External_Sku_Asin(SKU竞品ASIN表,ASIN+周期维度,类目也混杂在里)
3、上面新增表与废除表涉及的功能改造和流程改造,主要实现原理:不同的竞品类型通过标签记录,不再分记录;相同ASIN共用相似度匹配结果,防止相同ASIN的不同竞品类型重复相似度匹配,且每月都重复匹配,造成数据度有2亿,造成大量不必要的开销。
4、改为分布式多线程执行:关键词竞品,图搜竞品,及入ASIN结果匹配等服务
三、验收标准
原因:关键词找Asin每月全量采集一次,数据量过大,原有流程存在瓶颈,需要进行提升优化
业务价值:将竞品快速入库;预估100000。
验收人:李育贵。
二、需求说明
功能点:
1、新增表:External_Sku_Category(SKU末级类目表),External_Sku_Asin_New
(SKU竞品ASIN表,ASIN维度)
2、废除表:External_Sku_Asin(SKU竞品ASIN表,ASIN+周期维度,类目也混杂在里)
3、上面新增表与废除表涉及的功能改造和流程改造,主要实现原理:不同的竞品类型通过标签记录,不再分记录;相同ASIN共用相似度匹配结果,防止相同ASIN的不同竞品类型重复相似度匹配,且每月都重复匹配,造成数据度有2亿,造成大量不必要的开销。
4、改为分布式多线程执行:关键词竞品,图搜竞品,及入ASIN结果匹配等服务
三、验收标准
按需求验收

验收标准
按需求验收
1、项目:Zhcxkj.AutoChoose.Worker,Zhcxkj.AutoChoose.QueueWorker
2、增加mongodb,External_Sku_Category,External_Sku_Asin_New
3、核心代码
3.1、保存到sku类目关系表
3.2、改sku,asin关系表存储维度,以不同字段区分类型
已发布到生产