任务描述
需求描述
一、背景
外部竞品库无法完整的跑完数据，导致很多竞品ASIN无法正常入库；需将外部竞品整个采集，入库流程进行重构。
业务价值：保证外部竞品可以正常入库，预估200000.
验收人：李育贵
重构要点：
1、按月全量采集改为SKU增量采集；
2、大表分表改造，优化分片键，增加关联字段，解决性能瓶颈；
3、各个环节增加状态字段，用于控制各环节的数据运行情况，既解决数据漏跑，又解决问题可追溯；
4、优化流程，简化服务；
5、外部竞品关键词从原来的词库表剥离，独立存储表，防止自我死循环。
6、相似度过滤逻辑更新：
满足下面其中一条规则则可入库：1）相似度0.6以上且竞品末级类目与SKU平台ID一致。2）相似度0.7以上且（倒数第2类目或者倒数第3类目ID一致）3）相似度0.8以上且（第一级类目或不同类目）
三、验收标准
1、外部竞品可以正常入库。
外部竞品库无法完整的跑完数据，导致很多竞品ASIN无法正常入库；需将外部竞品整个采集，入库流程进行重构。
业务价值：保证外部竞品可以正常入库，预估200000.
验收人：李育贵
二、需求说明
2.1、业务逻辑见需求 http://pm.zhcxkj.com/zentao/story-view-19240.html
2.2、重新方案见设计图重构要点：
1、按月全量采集改为SKU增量采集；
2、大表分表改造，优化分片键，增加关联字段，解决性能瓶颈；
3、各个环节增加状态字段，用于控制各环节的数据运行情况，既解决数据漏跑，又解决问题可追溯；
4、优化流程，简化服务；
5、外部竞品关键词从原来的词库表剥离，独立存储表，防止自我死循环。
6、相似度过滤逻辑更新：
满足下面其中一条规则则可入库：1）相似度0.6以上且竞品末级类目与SKU平台ID一致。2）相似度0.7以上且（倒数第2类目或者倒数第3类目ID一致）3）相似度0.8以上且（第一级类目或不同类目）
三、验收标准
1、外部竞品可以正常入库。
2、各个重要节点可以进行状态监控
验收标准
1、外部竞品可以正常入库。
2、各个重要节点可以进行状态监控
2、各个重要节点可以进行状态监控