任务描述



需求描述

需求背景：目前爬虫出现数据堆积，需要优化性能


需求实现：

1、爬虫删除服务修改为分站点执行


1：根据站点查询对应站点异常的来源渠道

2：根据来源渠道及其站点遍历AmazonListingRemove_N 获取非成功删除的数据

3：查询的数据需要判断是否符合停产仿牌禁售删除条件

4：过滤打标表：isfba，isbrotherfba， 近30天有销量的数据

5、过滤在白名单有效期的数据


2、删除服务待验证数据二次验证服务改成分布式执行

验收标准
暂无
历史记录  
  1. 2024-11-25 10:01:59, 由 罗友军 创建。
  2. 2024-11-27 19:54:20, 由 王地福 完成。
    修改了 总计消耗，旧值为 "0"，新值为 "24"。
    修改了 指派给 ，旧值为 "wangdifu"，新值为 "luoyoujun"。
    修改了 实际完成，旧值为 ""，新值为 "2024-11-27 19:51:42"。
    修改了 任务状态，旧值为 "wait"，新值为 "done"。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2024-11-27 19:54:20"。
    修改了 预计剩余，旧值为 "24"，新值为 "0"。
    修改了 由谁完成，旧值为 ""，新值为 "wangdifu"。
    1：修改amazoWork 的 rebuild 
    2：新增的脚本上线后自动执行
    3：核心代码部分：

  3. 2024-11-27 20:04:22, 由 王地福 添加备注。
    4：涉及测试环境任务调度：
    DeleteCronJob-OrderSourceId
  4. 2024-11-28 19:17:10, 由 王地福 添加备注。
    发给dbs验证:MT80227L03CDNYRDQ,P2375O2ZC10R0GEVVAY2,18SNU12XV6TA2158ACVGC67FD,103827HXN5M5K,18OV327K835N152KD0CM,QE28QK27P8GMY16218V0,276462189K61XK31U8BUFG8I,3ZMSUR3MRB05F376PN18V,07YQPB0WK05IWQ19QX808E11,12T208195JSX,12B17FGG197,30119LCFFOZC0174Z6HRNAOKF,43922U19W4AN,150229SZ6IH,PL1927MK01GSBCVQ,19TJY22B02IQ5RN274BCJHOO,OKGO0474KH1OG514OYKBTIIL,N0422S3SGI18TWGIB,1204787HNEVUG1,308MS27S2US7188,U272018OYHTAI23C17YFGO8,X842F3I803618LLS,4027LG5J3X182902HKAIDBB4O,ZM1518581GQKZ,KL21194PL12H7GFMQXQ6B,818VZW3022Q5YL19QZZP1LSLO,RHO59K26K19P21M,198VDF627GMX92M112ACSYS6,YM019O37275I4ZSFHC6EBFT,18271461028501,E196X9AWM7H273J18YF2S0S8U,AXTLWV19TD18K2723CMMZFA,PM1078Y80DG37KN3D,C8S11VQ37UDGV51813WHOGKNS,F574618ZXD,HN1576I00184W420W7DF,DBOJ19GGZYY0XEDS0326IOKB3,8917251X0D519LB,19WANF35QX17G3QU,31D2219YPIS,TC2187PWM195T1L8CT6,OL29X19T42XXRVWJ,86XAG8153150E4LHO4CQBES,FVX41Z072037GWQLWIB2P,PW77107099YQ0CA8,J194G20I17O28,19DH0BMF26VPBLW22KHM96,XHGIHXBM0S37719EP221U3Y,192LOJH55DO2522ER65,1827361024204,18271861026396,OV1527H18B9PS204,S122V9DX1129WPQ6ZJ9,0N8V2582UIW012EX19J,ENRAB7190527JSXX,S55JMTP785G26119J,6B1442792T,DLI1SP1919O3CRZS371JA


    2：发给dbs验证:EO009P1E9YLB61352F2YFCQ,19619090GK,PSA215012020VVODAYU3H3EWT,1197195DAXK5,15J325EY9E890WG11EQ2E,8LD1434N276ZVJAG205,38WY308503S48DRRWVE,WN6EOGM30070UZ3036QC9Z,LN8068FM15DP109ET8RY,A7DFF5208147,PYBOM550208ZI1UNH,15S423873EC30JAVFHXKKJ,0537V01L5WH,16XT15276WEQM20D,7J27S21916486IG
  5. 2024-12-03 18:11:38, 由 梁秀丽 编辑。
    修改了 最初预计，旧值为 "24"，新值为 "14"。
所属迭代 智能中心-智能刊登迭代
所属模块 智能中心-需求池  战略独立项目   智能刊登
相关需求 爬虫删除服务性能优化
指派给 罗友军 于 2024-11-28 19:17:10
任务类型 后端
任务标签 初始
开发组
任务状态 已完成
进度 100%
优先级 P0
关键词
抄送给
由谁创建 罗友军 于 2024-11-25 10:01:59
由谁完成 王地福 于 2024-11-27 19:51:42
由谁取消 暂无
由谁关闭 暂无
关闭原因 暂无
最后编辑 梁秀丽 于 2024-12-03 18:11:38
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 14工时
总计消耗 24工时
预计剩余 0工时
预计开始 2024-11-25
实际开始 2024-11-27
截止日期 2024-11-29