任务描述
一、背景
目前001与003数据采集数据变少，发现是平台升级了爬虫，需做优化让数据正常采集。
业务价值：正常采集003，001数据，预估10000
验收人：李青

二、需求说明
001和003反爬虫优化及采集逻辑优化：
1、亚马逊反爬升级，导致采集成功率大幅度降低，需要修复；
2、原有的在列表页判断是否存在旧店铺品牌的逻辑，因为现在列表页显示的品牌较少或者不显示，导致大部分asin被过滤，现在改成只过滤大品牌，如：lego，nike；
3、更改原有的扩展逻辑，在旧店铺扩展数据较少的情况下。直接按周期重复采集所扩展的新店铺的新asin。如001扩展出3000多个新店铺，那么每个月都去重复采集这3000多个新店铺的新数据。


三、验收标准

每周正常有003与001采集数据进入
需求描述
一、背景
目前001与003数据采集数据变少，发现是平台升级了爬虫，需做优化让数据正常采集。
业务价值：正常采集003，001数据，预估10000
验收人：李青

二、需求说明
001和003反爬虫优化及采集逻辑优化：
1、亚马逊反爬升级，导致采集成功率大幅度降低，需要修复；
2、原有的在列表页判断是否存在旧店铺品牌的逻辑，因为现在列表页显示的品牌较少或者不显示，导致大部分asin被过滤，现在改成只过滤大品牌，如：lego，nike；
3、更改原有的扩展逻辑，在旧店铺扩展数据较少的情况下。直接按周期重复采集所扩展的新店铺的新asin。如001扩展出3000多个新店铺，那么每个月都去重复采集这3000多个新店铺的新数据。


三、验收标准

每周正常有003与001采集数据进入
验收标准
验收标准

每周正常有003与001采集数据进入
历史记录  
  1. 2023-07-27 12:00:34, 由 程宽 创建。
  2. 2023-07-27 13:51:24, 由 程宽 完成。
    修改了 总计消耗，旧值为 "0"，新值为 "3"。
    修改了 实际完成，旧值为 ""，新值为 "2023-07-27 13:50:06"。
    修改了 任务状态，旧值为 "wait"，新值为 "done"。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2023-07-27 13:51:24"。
    修改了 预计剩余，旧值为 "3"，新值为 "0"。
    修改了 由谁完成，旧值为 ""，新值为 "chengkuan"。

  3. 2023-10-31 16:53:32, 由 周杰 关闭。
    修改了 任务状态，旧值为 "done"，新值为 "closed"。
    修改了 指派给 ，旧值为 "chengkuan"，新值为 "closed"。
    修改了 由谁关闭，旧值为 ""，新值为 "zhoujie"。
    修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2023-10-31 16:53:32"。
    修改了 关闭原因，旧值为 ""，新值为 "done"。
返回
所属迭代 智能中心-智能选品采集迭代
所属模块 智能中心-需求池  战略独立项目   智能选品
相关需求 采集-003，001反爬虫优化
指派给 Closed 于 2023-10-31 16:53:32
任务类型 测试
任务标签 初始
开发组 仓储物流开发组
任务状态 已关闭
进度 100%
优先级 P1
关键词
抄送给
由谁创建 程宽 于 2023-07-27 12:00:34
由谁完成 程宽 于 2023-07-27 13:50:06
由谁取消 暂无
由谁关闭 周杰 于 2023-10-31 16:53:32
关闭原因 已完成
最后编辑 周杰 于 2023-10-31 16:53:32
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 3工时
总计消耗 3工时
预计剩余 0工时
预计开始 2023-07-27
实际开始 2023-07-27
截止日期 2023-07-27