需求背景:目前爬虫出现数据堆积,需要优化性能
需求实现:
爬虫删除服务修改为分站点执行
1:根据站点查询对应站点异常的来源渠道
2:根据来源渠道及其站点遍历AmazonListingRemove_N 获取非成功删除的数据
3:查询的数据需要判断是否符合停产仿牌禁售删除条件
4:过滤打标表:isfba,isbrotherfba, 近30天有销量的数据
5、过滤在白名单有效期的数据
需求背景:目前爬虫出现数据堆积,需要优化性能
需求实现:
爬虫删除服务修改为分站点执行
1:根据站点查询对应站点异常的来源渠道
2:根据来源渠道及其站点遍历AmazonListingRemove_N 获取非成功删除的数据
3:查询的数据需要判断是否符合停产仿牌禁售删除条件
4:过滤打标表:isfba,isbrotherfba, 近30天有销量的数据
5、过滤在白名单有效期的数据
005-
005+
006-1:站点查询出对应来源渠道状态异常的数据
006+ 1:根据站点查询对应站点异常的来源渠道
007-2:遍历AmazonListingRemove_N获取非成功删除,且来源渠道异常的数据
007+ 2:根据来源渠道及其站点遍历AmazonListingRemove_N获取非成功删除的数据
008-3:数据在过滤一下停产仿牌禁售,
008+ 3:查询的数据需要判断是否符合停产仿牌禁售删除条件
009-4:过滤打标表:isfba,isbrotherfba,近30天有销量的
009+ 4:过滤打标表:isfba,isbrotherfba,近30天有销量的数据
010+ 5、过滤在白名单有效期的数据
005-<p>
005+ <p><br /></p>
006-</p><p><span>1:站点查询出对应来源渠道状态异常的数据</span> </p>
006+ <p><span>1:根据站点查询对应站点异常的来源渠道</span> </p>
007-<p><span>2:遍历AmazonListingRemove_N获取非成功删除,且来源渠道异常的数据</span> </p>
007+ <p><span>2:根据来源渠道及其站点遍历AmazonListingRemove_N获取非成功删除的数据</span> </p>
008-<p><span>3:数据在过滤一下停产仿牌禁售,</span> </p>
008+ <p><span>3:查询的数据需要判断是否符合停产仿牌禁售删除条件</span> </p>
009-<p><span>4:过滤打标表:isfba,isbrotherfba,近30天有销量的</span> </p>
009+ <p><span>4:过滤打标表:isfba,isbrotherfba,近30天有销量的数据</span></p>
010+ <p><span>5、过滤在白名单有效期的数据<br /></span> </p>
004-爬虫删除服务修改为分站点执行
004+ 1、爬虫删除服务修改为分站点执行
010-5、过滤在白名单有效期的数据
010+ 5、过滤在白名单有效期的数据
011+
012+ 2、删除服务待验证数据二次验证服务改成分布式执行
004-<p>爬虫删除服务修改为分站点执行</p>
004+ <p>1、爬虫删除服务修改为分站点执行</p>
010-<p><span>5、过滤在白名单有效期的数据<br /></span> </p>
010+ <p><span>5、过滤在白名单有效期的数据</span></p>
011+ <p><span><br /></span></p>
012+ <p><span>2、删除服务待验证数据二次验证服务改成分布式执行<br /></span> </p>
主干通过
需要产品验证
灰度只有26条数据提交到爬虫队列删除
26条数据都是符合条件的,未发现问题
提交到爬虫队列删除的数据的店铺的状态:




| 提报业务部门 | 智能研发中心 |
|---|---|
| 提报人员 | 戴宝山 |
| 需求来源 | 年度重点项目&需求 |
| 所属模块 | 战略独立项目 智能刊登 |
| 所属计划 |
|
| 开发组 | |
| 受益业务部门 | 智能研发中心 |
| 验收人员 | 徐格格 |
| 业务价值 | |
| 每月价值量 | 1000000 |
| 每月节省人数 | 0 |
| 优先级 | P0 |
| 价值类型 | 长期价值 |
| 预计工时 | 14 |
| 成本 | 7000 |
| ROI | 857.14 |
| 操作手册 | 否 |
| 更新点 | |
| 是否高危 | |
| 评分 | |
| 当前状态 | 已关闭 |
| 所处阶段 | 已关闭 |
| 关键词 | |
| 计划上线 | |
| 上线时间 | 2024-12-05 |
| 计划验收时间 | 2024-12-16 |
| 业务验收时间 | 2024-12-12 16:54:25 |
| 满意度 | 非常满意 |
| 价值验收 | 基本达成 |
| 满意度分值 | 100 |
| 业务回填价值 | |
| 验收达成价值 | 4800000.0 |
| 验收达成ROI | 685.71 |
| 由谁创建 | 戴宝山 于 2024-11-21 14:38:42 |
|---|---|
| 指派给 | Closed 于 2024-12-12 17:02:00 |
| 由谁评审 | 徐盛松 |
| 评审时间 | 2024-11-22 |
| 由谁关闭 | 李亚婷 于 2024-12-12 17:02:00 |
| 关闭原因 | 已完成 |
| 最后修改 | 李亚婷 于 2025-06-18 10:55:32 |