业务需求
需求描述

需求背景:目前爬虫出现数据堆积,需要优化性能


需求实现:

1、爬虫删除服务修改为分站点执行


1:根据站点查询对应站点异常的来源渠道

2:根据来源渠道及其站点遍历AmazonListingRemove_N 获取非成功删除的数据

3:查询的数据需要判断是否符合停产仿牌禁售删除条件

4:过滤打标表:isfba,isbrotherfba, 近30天有销量的数据

5、过滤在白名单有效期的数据


2、删除服务待验证数据二次验证服务改成分布式执行

验收标准
价值描述
尽快删除数据,降低店铺风险
历史记录  
  1. 2024-11-21 14:38:42, 由 戴宝山 创建。
  2. 2024-11-21 14:53:46, 由 戴宝山 变更。
    修改了 版本号 ,旧值为 "1",新值为 "2"。
    修改了 需求描述,区别为:
    005-
    005+
    006- 1:站点查询出对应来源渠道状态异常的数据
    006+ 1:根据站点查询对应站点异常的来源渠道
    007- 2:遍历AmazonListingRemove_N获取非成功删除,且来源渠道异常的数据
    007+ 2:根据来源渠道及其站点遍历AmazonListingRemove_N获取非成功删除的数据
    008- 3:数据在过滤一下停产仿牌禁售,
    008+ 3:查询的数据需要判断是否符合停产仿牌禁售删除条件
    009- 4:过滤打标表:isfba,isbrotherfba,近30天有销量的
    009+ 4:过滤打标表:isfba,isbrotherfba,近30天有销量的数据
    010+ 5、过滤在白名单有效期的数据
    005- <p>
    005+ <p><br /></p>
    006- </p><p><span>1:站点查询出对应来源渠道状态异常的数据</span> </p>
    006+ <p><span>1:根据站点查询对应站点异常的来源渠道</span> </p>
    007- <p><span>2:遍历AmazonListingRemove_N获取非成功删除,且来源渠道异常的数据</span> </p>
    007+ <p><span>2:根据来源渠道及其站点遍历AmazonListingRemove_N获取非成功删除的数据</span> </p>
    008- <p><span>3:数据在过滤一下停产仿牌禁售,</span> </p>
    008+ <p><span>3:查询的数据需要判断是否符合停产仿牌禁售删除条件</span> </p>
    009- <p><span>4:过滤打标表:isfba,isbrotherfba,近30天有销量的</span> </p>
    009+ <p><span>4:过滤打标表:isfba,isbrotherfba,近30天有销量的数据</span></p>
    010+ <p><span>5、过滤在白名单有效期的数据<br /></span> </p>
  3. 2024-11-21 16:32:42, 由 戴宝山 变更。
    修改了 版本号 ,旧值为 "2",新值为 "3"。
    修改了 需求描述,区别为:
    004- 爬虫删除服务修改为分站点执行
    004+ 1、爬虫删除服务修改为分站点执行
    010- 5、过滤在白名单有效期的数据
    010+ 5、过滤在白名单有效期的数据
    011+
    012+ 2、删除服务待验证数据二次验证服务改成分布式执行
    004- <p>爬虫删除服务修改为分站点执行</p>
    004+ <p>1、爬虫删除服务修改为分站点执行</p>
    010- <p><span>5、过滤在白名单有效期的数据<br /></span> </p>
    010+ <p><span>5、过滤在白名单有效期的数据</span></p>
    011+ <p><span><br /></span></p>
    012+ <p><span>2、删除服务待验证数据二次验证服务改成分布式执行<br /></span> </p>
  4. 2024-11-21 16:32:52, 由 戴宝山 编辑。
    修改了 预计工时,旧值为 "16",新值为 "24"。
    修改了 成本 ,旧值为 "8000",新值为 "12000"。
    修改了 ROI ,旧值为 "750.00",新值为 "500.00"。
  5. 2024-11-22 12:35:14, 由 徐盛松 记录评审结果,结果为 确认通过。
    修改了 评审时间,旧值为 "0000-00-00",新值为 "2024-11-22"。
    修改了 指派给 ,旧值为 "laoxu",新值为 "daibaoshan"。
    修改了 当前状态,旧值为 "draft",新值为 "active"。
    修改了 由谁评审,旧值为 "",新值为 "laoxu"。
  6. 2024-11-22 13:44:14, 由 李亚婷 关联到迭代 智能中心-智能刊登迭代 。
  7. 2024-11-22 13:56:52, 由 李亚婷 编辑。
    修改了 指派给,旧值为 "daibaoshan",新值为 "luoyoujun"。
  8. 2024-11-22 14:06:08, 由 戴宝山 添加备注。
    1:根据站点查询对应站点异常的来源渠道(排除注销店铺)
  9. 2024-11-27 10:19:15, 由 李亚婷 编辑。
    修改了 所属计划,旧值为 "",新值为 "1608"。
    修改了 上线时间,旧值为 "2024-11-29",新值为 "2024-12-05"。
  10. 2024-11-28 09:50:45, 由 罗友军 指派给 陈丽婷。
    修改了 指派给,旧值为 "luoyoujun",新值为 "chenliting"。
    分支提测
  11. 2024-11-29 15:24:04, 由 李亚婷 添加备注。
    2、删除服务待验证数据二次验证服务改成分布式执行 11/29已上线
  12. 2024-12-03 18:11:30, 由 梁秀丽 编辑。
    修改了 预计工时,旧值为 "24",新值为 "14"。
    修改了 成本 ,旧值为 "12000",新值为 "7000"。
    修改了 ROI ,旧值为 "500.00",新值为 "857.14"。
  13. 2024-12-04 16:38:02, 由 陈丽婷 指派给 罗友军。
    修改了 指派给,旧值为 "chenliting",新值为 "luoyoujun"。
    分支测试通过
  14. 2024-12-04 16:47:30, 由 陈丽婷 指派给 商雷。
    修改了 指派给,旧值为 "luoyoujun",新值为 "shanglei"。
  15. 2024-12-05 09:52:17, 由 商雷 指派给 陈丽婷。
    修改了 指派给,旧值为 "shanglei",新值为 "chenliting"。
    主干提测
  16. 2024-12-05 14:58:51, 由 陈丽婷 指派给 戴宝山。
    修改了 指派给,旧值为 "chenliting",新值为 "daibaoshan"。

    主干通过

    需要产品验证

  17. 2024-12-05 18:07:32, 由 李亚婷 编辑。
    修改了 计划验收时间,旧值为 "0000-00-00",新值为 "2024-12-12"。
    修改了 所处阶段 ,旧值为 "tested",新值为 "onlinetest"。
  18. 2024-12-05 18:08:43, 由 李亚婷 指派给 陈丽婷。
    修改了 指派给,旧值为 "daibaoshan",新值为 "chenliting"。
    已灰度上线
  19. 2024-12-10 17:36:16, 由 陈丽婷 指派给 戴宝山。
    修改了 指派给,旧值为 "chenliting",新值为 "daibaoshan"。

    灰度只有26条数据提交到爬虫队列删除

    26条数据都是符合条件的,未发现问题

  20. 2024-12-10 18:13:35, 由 戴宝山 添加备注。
    已验收
  21. 2024-12-11 10:32:21, 由 李亚婷 编辑。
    修改了 指派给 ,旧值为 "daibaoshan",新值为 "chenliting"。
    修改了 计划验收时间,旧值为 "2024-12-12",新值为 "2024-12-18"。
    修改了 所处阶段 ,旧值为 "onlinetest",新值为 "released"。
    修改了 设置阶段者 ,旧值为 "",新值为 "liyating"。
  22. 2024-12-11 16:42:31, 由 陈丽婷 指派给 戴宝山。
    修改了 指派给,旧值为 "chenliting",新值为 "daibaoshan"。

    提交到爬虫队列删除的数据的店铺的状态:

  23. 2024-12-12 11:23:43, 由 戴宝山 编辑。
    修改了 所处阶段 ,旧值为 "released",新值为 "poaccepted"。
    修改了 设置阶段者,旧值为 "liyating",新值为 ""。
  24. 2024-12-12 16:41:24, 由 李亚婷 编辑。
    修改了 计划验收时间,旧值为 "2024-12-18",新值为 "2024-12-16"。
    修改了 所处阶段 ,旧值为 "poaccepted",新值为 "bepending"。
  25. 2024-12-12 16:54:25, 由 徐格格 编辑。
    修改了 所处阶段,旧值为 "业务验收中",新值为 "业务验收通过"。
    功能验收:验收通过
    满意度:非常满意
    价值验收:基本达成
    原因备注:无
  26. 2024-12-12 17:02:00, 由 李亚婷 关闭,原因为 已完成 。
    修改了 关闭原因,旧值为 "",新值为 "done"。
    修改了 当前状态,旧值为 "active",新值为 "closed"。
    修改了 指派给 ,旧值为 "daibaoshan",新值为 "closed"。
    修改了 所处阶段,旧值为 "verified",新值为 "closed"。
    修改了 关闭日期,旧值为 "0000-00-00 00:00:00",新值为 "2024-12-12 17:02:00"。
    修改了 由谁关闭,旧值为 "",新值为 "liyating"。
  27. 2025-06-18 10:55:32, 由 李亚婷 编辑。
    修改了 测试人员,旧值为 "",新值为 "chenliting"。
迭代版本
提报业务部门 智能研发中心
提报人员 戴宝山
需求来源 年度重点项目&需求
所属项目 智能中心-需求池
所属模块 战略独立项目   智能刊登
所属计划
业务价值
开发组
受益业务部门 智能研发中心
验收人员 徐格格
业务目标类型 风险防控
中心业务目标 风险账号占比
业务价值
每月价值量 1000000
每月节省人数 0
优先级 P0
价值类型 长期价值
预计工时 14
成本 7000
ROI 857.14
操作手册 否
高价值 -
主被动 被动接收
复杂度 一般性
工作流ID
工作流创建时间 0000-00-00 00:00:00
更新点
是否高危
评分
当前状态 已关闭
所处阶段 已关闭
关键词
评审次数 一次
计划上线
上线时间 2024-12-05
计划验收时间 2024-12-16
业务验收时间 2024-12-12 16:54:25
满意度 非常满意
价值验收 基本达成
满意度分值 100
业务回填价值
验收达成价值 4800000.0
验收达成ROI 685.71
抄送给
由谁创建 戴宝山 于 2024-11-21 14:38:42
指派给 Closed 于 2024-12-12 17:02:00
由谁评审 徐盛松
评审时间 2024-11-22
由谁关闭 李亚婷 于 2024-12-12 17:02:00
关闭原因 已完成
最后修改 李亚婷 于 2025-06-18 10:55:32