业务需求
目前001与003数据采集数据变少，发现是平台升级了爬虫，需做优化让数据正常采集。
需求描述
一、背景
目前001与003数据采集数据变少，发现是平台升级了爬虫，需做优化让数据正常采集。
业务价值：正常采集003，001数据，预估10000
验收人：李青
二、需求说明
001和003反爬虫优化及采集逻辑优化：
1、亚马逊反爬升级，导致采集成功率大幅度降低，需要修复；
2、原有的在列表页判断是否存在旧店铺品牌的逻辑，因为现在列表页显示的品牌较少或者不显示，导致大部分asin被过滤，现在改成只过滤大品牌，如：lego，nike；
3、更改原有的扩展逻辑，在旧店铺扩展数据较少的情况下。直接按周期重复采集所扩展的新店铺的新asin。如001扩展出3000多个新店铺，那么每个月都去重复采集这3000多个新店铺的新数据。
三、验收标准
每周正常有003与001采集数据进入
目前001与003数据采集数据变少，发现是平台升级了爬虫，需做优化让数据正常采集。
业务价值：正常采集003，001数据，预估10000
验收人：李青
二、需求说明
001和003反爬虫优化及采集逻辑优化：
1、亚马逊反爬升级，导致采集成功率大幅度降低，需要修复；
2、原有的在列表页判断是否存在旧店铺品牌的逻辑，因为现在列表页显示的品牌较少或者不显示，导致大部分asin被过滤，现在改成只过滤大品牌，如：lego，nike；
3、更改原有的扩展逻辑，在旧店铺扩展数据较少的情况下。直接按周期重复采集所扩展的新店铺的新asin。如001扩展出3000多个新店铺，那么每个月都去重复采集这3000多个新店铺的新数据。
三、验收标准
每周正常有003与001采集数据进入
验收标准
验收标准
每周正常有003与001采集数据进入
每周正常有003与001采集数据进入
价值描述
业务价值：正常采集003，001数据，预估10000
