原因:关键词找Asin每月全量采集一次,数据量过大,原有流程存在瓶颈,需要进行提升优化
业务价值:将竞品快速入库;预估100000。
验收人:李育贵。
二、需求说明
功能点:
1、新增表:External_Sku_Category(SKU末级类目表),External_Sku_Asin_New
(SKU竞品ASIN表,ASIN维度)
2、废除表:External_Sku_Asin(SKU竞品ASIN表,ASIN+周期维度,类目也混杂在里)
3、上面新增表与废除表涉及的功能改造和流程改造,主要实现原理:不同的竞品类型通过标签记录,不再分记录;相同ASIN共用相似度匹配结果,防止相同ASIN的不同竞品类型重复相似度匹配,且每月都重复匹配,造成数据度有2亿,造成大量不必要的开销。
4、改为分布式多线程执行:关键词竞品,图搜竞品,及入ASIN结果匹配等服务
三、验收标准
按需求验收

