004- 重构要点：1、按月全量采集改为SKU增量采集；2、大表分表改造，优化分片键，增加关联字段，解决性能瓶颈；3、各个环节增加状态字段，用于控制各环节的数据运行情况，既解决数据漏跑，又解决问题可追溯；4、优化流程，简化服务；5、外部竞品关键词从原来的词库表剥离，独立存储表，防止自我死循环。三、验收标准1、外部竞品可以正常入库。2、各个重要节点可以进行状态监控
004+ 重构要点：1、按月全量采集改为SKU增量采集；2、大表分表改造，优化分片键，增加关联字段，解决性能瓶颈；3、各个环节增加状态字段，用于控制各环节的数据运行情况，既解决数据漏跑，又解决问题可追溯；4、优化流程，简化服务；5、外部竞品关键词从原来的词库表剥离，独立存储表，防止自我死循环。6、相似度过滤逻辑更新：满足下面其中一条规则则可入库：1）相似度0.6以上且竞品末级类目与SKU平台ID一致。2）相似度0.7以上且（倒数第2类目或者倒数第3类目ID一致）3）相似度0.8以上且（第一级类目或不同类目）三、验收标准1、外部竞品可以正常入库。2、各个重要节点可以进行状态监控
008-
008+

004- 重构要点：<br />1、按月全量采集改为SKU增量采集；<br />2、大表分表改造，优化分片键，增加关联字段，解决性能瓶颈；<br />3、各个环节增加状态字段，用于控制各环节的数据运行情况，既解决数据漏跑，又解决问题可追溯；<br />4、优化流程，简化服务；<br />5、外部竞品关键词从原来的词库表剥离，独立存储表，防止自我死循环。<br /><br /><br />三、验收标准<br />1、外部竞品可以正常入库。<br /><p>2、各个重要节点可以进行状态监控</p>
004+ 重构要点：<br />1、按月全量采集改为SKU增量采集；<br />2、大表分表改造，优化分片键，增加关联字段，解决性能瓶颈；<br />3、各个环节增加状态字段，用于控制各环节的数据运行情况，既解决数据漏跑，又解决问题可追溯；<br />4、优化流程，简化服务；<br />5、外部竞品关键词从原来的词库表剥离，独立存储表，防止自我死循环。<br />6、相似度过滤逻辑更新：<br />满足下面其中一条规则则可入库：1）相似度0.6以上且竞品末级类目与SKU平台ID一致。2）相似度0.7以上且（倒数第2类目或者倒数第3类目ID一致）3）相似度0.8以上且（第一级类目或不同类目）<br /><br />三、验收标准<br />1、外部竞品可以正常入库。<br /><p>2、各个重要节点可以进行状态监控</p>
008- <p><img src="{373491.jpeg}" alt="" /></p>
008+ <p><img src="{373875.png}" alt="" /><img src="{373491.jpeg}" alt="" /></p>