任务描述
暂无
需求描述

需求背景:目前爬虫出现数据堆积,需要优化性能


需求实现:

1、爬虫删除服务修改为分站点执行


1:根据站点查询对应站点异常的来源渠道

2:根据来源渠道及其站点遍历AmazonListingRemove_N 获取非成功删除的数据

3:查询的数据需要判断是否符合停产仿牌禁售删除条件

4:过滤打标表:isfba,isbrotherfba, 近30天有销量的数据

5、过滤在白名单有效期的数据


2、删除服务待验证数据二次验证服务改成分布式执行

验收标准
暂无
附件
历史记录  
  1. 2024-11-28 15:56:15, 由 陈丽婷 创建。
  2. 2024-12-04 16:37:47, 由 陈丽婷 完成。
    修改了 总计消耗,旧值为 "0",新值为 "1"。
    修改了 实际完成,旧值为 "",新值为 "2024-12-04 16:37:32"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2024-12-04 16:37:47"。
    修改了 预计剩余,旧值为 "1",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "chenliting"。
    上传了附件 25099 爬虫删除服务性能优化.xmind
所属迭代 智能中心-智能刊登迭代
所属模块 智能中心-需求池  战略独立项目   智能刊登
相关需求 爬虫删除服务性能优化
指派给 陈丽婷 于 2024-12-04 16:37:47
任务类型 测试
任务标签 初始
开发组 百货开发组
任务状态 已完成
进度 100%
优先级 P2
关键词
抄送给
由谁创建 陈丽婷 于 2024-11-28 15:56:15
由谁完成 陈丽婷 于 2024-12-04 16:37:32
由谁取消 暂无
由谁关闭 暂无
关闭原因 暂无
最后编辑 陈丽婷 于 2024-12-04 16:37:47
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 1工时
总计消耗 1工时
预计剩余 0工时
预计开始 2024-11-28
实际开始 2024-12-04
截止日期 2024-11-30