业务需求
需求描述

需求背景:目前亚马逊新接口需要上传PT,PT错误可能导致异常,需要通过爬虫模拟上传


需求实现:


1、通用队列的数据增加一个上传类型字段,分别为接口上传和爬虫上传,针对爬虫上传的数据处理逻辑如下


a、根据店铺汇总需要更新的listing信息(1个小时汇总一次,单个文件listing不能超过1000个),在最新的更新模版中将需要更新的listing和信息填充,并生成一个文件,上传到文件服务器(需要支持CDN加速)。

b、创建一个表记录需要爬虫上传的文件信息,记录文件地址,店铺信息,以及一个详情表,记录每个文件中对应的listing,方便后续爬虫写入messageid

c、待爬虫处理完成后回写状态,feedid信息到任务表和通用队列表


2、爬虫端处理

a、根据任务表获取需要处理的任务,根据店铺信息 将对应的文件上传到对应店铺的亚马逊后台(表格上传功能),并记录批次号和每条listing对应的messageid

b、根据批次号和messageid 从任务结果页面获取任务完成状态,并回写到任务表。


状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功

状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败




验收标准
价值描述
降低店铺风险
历史记录  
  1. 2025-08-08 20:03:32, 由 戴宝山 创建。
  2. 2025-08-11 09:40:23, 由 戴宝山 变更。
    修改了 版本号 ,旧值为 "1",新值为 "2"。
    修改了 需求描述,区别为:
    012- a、根据任务表获取需要处理的任务,根据店铺信息 将对应的文件上传到对应店铺的亚马逊后台(表格上传功能)
    012+ a、根据任务表获取需要处理的任务,根据店铺信息 将对应的文件上传到对应店铺的亚马逊后台(表格上传功能),并记录批次号和每条listing对应的messageid
    013- b、根据任务结果页面获取任务完成状态,并回写到任务表。
    013+
    014-
    014+ b、根据批次号和messageid 从任务结果页面获取任务完成状态,并回写到任务表。
    015+
    016+
    017+
    018+ 状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功
    019+ 状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败
    020+
    021+
    022+
    023+
    012- <p>a、根据任务表获取需要处理的任务,根据店铺信息 将对应的文件上传到对应店铺的亚马逊后台(表格上传功能)</p>
    012+ <p>a、根据任务表获取需要处理的任务,根据店铺信息 将对应的文件上传到对应店铺的亚马逊后台(表格上传功能),并记录批次号和每条listing对应的messageid</p>
    013- <p>b、根据任务结果页面获取任务完成状态,并回写到任务表。</p>
    013+ <p><img src="{491146.png}" alt="" /></p>
    014- <p><br /></p>
    014+ <p>b、根据批次号和messageid 从任务结果页面获取任务完成状态,并回写到任务表。</p>
    015+ <p>
    016+ </p><p><img src="{491147.png}" alt="" /></p>
    017+
    018+ <p>状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功</p>
    019+ <p>状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败</p>
    020+ <p><img src="{491148.png}" alt="" /></p>
    021+ <p><br /></p>
    022+ <p><br /></p>
    023+ <p><br /></p>
  3. 2025-08-11 09:47:42, 由 戴宝山 变更。
    修改了 版本号 ,旧值为 "2",新值为 "3"。
    修改了 需求描述,区别为:
    008- b、创建一个表记录需要爬虫上传的文件信息,记录文件地址,店铺信息
    008+ b、创建一个表记录需要爬虫上传的文件信息,记录文件地址,店铺信息,以及一个详情表,记录每个文件中对应的listing,方便后续爬虫写入messageid
    015-
    015+
    016-
    016+
    017-
    017+ 状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功
    018- 状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功
    018+ 状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败
    019- 状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败
    019+
    020-
    020+
    022-
    022+
    023-
    008- <p>b、创建一个表记录需要爬虫上传的文件信息,记录文件地址,店铺信息</p>
    008+ <p>b、创建一个表记录需要爬虫上传的文件信息,记录文件地址,店铺信息,以及一个详情表,记录每个文件中对应的listing,方便后续爬虫写入messageid</p>
    015- <p>
    015+ <p><br /></p>
    016- </p><p><img src="{491147.png}" alt="" /></p>
    016+ <p><img src="{491147.png}" alt="" /></p>
    017-
    017+ <p>状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功</p>
    018- <p>状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功</p>
    018+ <p>状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败</p>
    019- <p>状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败</p>
    019+ <p><img src="{491148.png}" alt="" /></p>
    020- <p><img src="{491148.png}" alt="" /></p>
    020+ <p><br /></p>
    022- <p><br /></p>
    022+ <p><br /></p>
    023- <p><br /></p>
  4. 2025-08-11 10:42:33, 由 官荣荣 记录评审结果,结果为 确认通过。
  5. 2025-08-11 11:24:19, 由 官荣荣 编辑。
    修改了 所属计划,旧值为 "",新值为 "2156"。
    修改了 计划上线,旧值为 "0000-00-00",新值为 "2025/8/26"。
    修改了 测试人员,旧值为 "",新值为 "chenliting"。
  6. 2025-08-11 11:25:09, 由 官荣荣 关联到迭代 智能-【选品刊登】 。
  7. 2025-08-11 11:25:32, 由 官荣荣 编辑。
    修改了 所处阶段 ,旧值为 "wait",新值为 "projected"。
    修改了 设置阶段者,旧值为 "guanrongrong",新值为 ""。
  8. 2025-08-11 11:30:15, 由 官荣荣 编辑。
    修改了 预计工时,旧值为 "40",新值为 "60"。
    修改了 成本 ,旧值为 "20000",新值为 "30000"。
    修改了 ROI ,旧值为 "3.00",新值为 "2.00"。
    修改了 高价值 ,旧值为 "",新值为 "0"。
    修改了 主被动 ,旧值为 "",新值为 "1"。
    修改了 复杂度 ,旧值为 "",新值为 "1"。
  9. 2025-08-14 17:19:13, 由 李育贵 添加备注。

    【技术文案】在现有通用修改队列表和通用修改批次表基础上实现,具体如下:

    1、通用修改队列表(Amazon_Common_Queue):原有字段Status新增枚举值91(待生成爬虫文件)和92(已生成爬虫文件)

    >> 需要走爬虫的Listing,就将Status状态赋为91(待生成爬虫文件),否则跟旧的一样赋为0(未处理)


    2、通用修改批次表(Amazon_Common_Queue_Batch):新增GenerateId,UniqueHashObs,SubmitObsUrl,RobotStatus,ResultObsUrl字段,UniqueHash字段内容变更。

    >> 爬虫流程:

    第一步:按来源渠道将通用修改队列表Status为91的打包生成Excel,放入OBS和生成批次记录(RobotStatus为1)
    第二步:提供API给爬虫获取任务,提供Excel文件上传平台(加锁,30分钟时效)
    第三步:提供API给爬虫反写任务状态,反写批次ID和爬虫处理状态(解锁,RobotStatus为2或5)
    第四步:提供API给爬虫反写平台处理详情,反写结果Excel文件(RobotStatus为3)
    第五步:解析平台处理详情结果Excel文件,反写通用修改队列表和通用修改批次表状态(RobotStatus为4)。


    详见:https://alidocs.dingtalk.com/i/nodes/lyQod3RxJK3xDYKXtPb3x2zYJkb4Mw9r?utm_scene=team_space

  10. 2025-08-14 17:56:46, 由 官荣荣 编辑。
    修改了 所属计划,旧值为 "2156",新值为 "2158"。
    修改了 计划上线,旧值为 "2025-08-26",新值为 "2025-08-28"。
  11. 2025-08-21 19:19:18, 由 商雷 编辑。
    修改了 预计工时,旧值为 "60",新值为 "80"。
    修改了 成本 ,旧值为 "30000",新值为 "40000"。
    修改了 ROI ,旧值为 "2.00",新值为 "1.50"。
  12. 2025-08-27 11:15:27, 由 官荣荣 编辑。
    修改了 关键词,旧值为 "",新值为 "预计延期到9/2"。
  13. 2025-08-27 15:44:51, 由 商雷 指派给 陈丽婷。
    修改了 指派给,旧值为 "shanglei",新值为 "chenliting"。
    分支提测
  14. 2025-08-29 17:01:35, 由 陈丽婷 指派给 商雷。
    修改了 指派给,旧值为 "chenliting",新值为 "shanglei"。
    分支测试通过
  15. 2025-09-02 09:54:23, 由 商雷 指派给 陈丽婷。
    修改了 指派给,旧值为 "shanglei",新值为 "chenliting"。
    主干提测
  16. 2025-09-02 16:47:16, 由 陈丽婷 指派给 戴宝山。
    修改了 指派给,旧值为 "chenliting",新值为 "daibaoshan"。

    主干测试通过

  17. 2025-09-02 17:20:45, 由 戴宝山 指派给 商雷。
    修改了 指派给,旧值为 "daibaoshan",新值为 "shanglei"。
    已验收
  18. 2025-09-02 18:18:33, 由 商雷 指派给 陈丽婷。
    修改了 指派给,旧值为 "shanglei",新值为 "chenliting"。
    已上线
  19. 2025-09-03 10:24:34, 由 陈丽婷 编辑。
    修改了 所处阶段 ,旧值为 "developing",新值为 "released"。
    修改了 上线时间 ,旧值为 "2025-08-22",新值为 "2025-09-02"。
    修改了 设置阶段者,旧值为 "",新值为 "chenliting"。
  20. 2025-09-10 14:57:02, 由 陈丽婷 指派给 戴宝山。
    修改了 指派给,旧值为 "chenliting",新值为 "daibaoshan"。
    线上数据已验证
  21. 2025-09-11 13:41:45, 由 戴宝山 编辑。
    修改了 所处阶段 ,旧值为 "released",新值为 "bepending"。
    修改了 设置阶段者,旧值为 "chenliting",新值为 ""。
  22. 2025-09-18 08:56:25, 由 张华 编辑。
    修改了 所处阶段,旧值为 "业务验收中",新值为 "业务验收通过"。
    功能验收:验收通过
    满意度:非常满意
    价值验收:完全达成
    原因备注:无
  23. 2025-09-18 14:48:48, 由 官荣荣 关闭,原因为 已完成 。
    修改了 由谁关闭,旧值为 "",新值为 "guanrongrong"。
    修改了 关闭日期,旧值为 "0000-00-00 00:00:00",新值为 "2025-09-18 14:48:48"。
    修改了 指派给 ,旧值为 "daibaoshan",新值为 "closed"。
    修改了 当前状态,旧值为 "active",新值为 "closed"。
    修改了 所处阶段,旧值为 "verified",新值为 "closed"。
    修改了 关闭原因,旧值为 "",新值为 "done"。
  24. 2025-12-04 14:11:27, 由 张华 编辑。
    修改了 业务回填价值,旧值为 "0",新值为 "100"。
    修改了 actualAchieveDesc ,旧值为 "",新值为 ""。
迭代版本
提报业务部门 智能研发中心
提报人员 张华
需求来源 年度重点项目&需求
所属项目 智能中心-需求池
所属模块 战略独立项目   智能刊登
所属计划
业务价值
开发组 FBM智能项目部
受益业务部门 智能研发中心
验收人员 张华
业务目标类型
中心业务目标
业务价值 提高收入
每月价值量 10000
每月节省人数 10
优先级 P0
价值类型 长期价值
预计工时 80
成本 250
ROI 40.00
操作手册 否
高价值 -
主被动 被动接收
复杂度 一般性
工作流ID
工作流创建时间 0000-00-00 00:00:00
更新点
是否高危 否
评分
当前状态 已关闭
所处阶段 已关闭
关键词 预计延期到9/2
评审次数 一次
计划上线 2025-08-28
上线时间 2025-09-02
计划验收时间 0000-00-00
业务验收时间 2025-09-18 08:56:25
满意度 非常满意
价值验收 完全达成
满意度分值 100
业务回填价值 100
验收达成价值 60000.0
验收达成ROI 1.5
抄送给
由谁创建 戴宝山 于 2025-08-08 20:03:32
指派给 Closed 于 2025-09-18 14:48:48
由谁评审 官荣荣
评审时间 2025-08-11
由谁关闭 官荣荣 于 2025-09-18 14:48:48
关闭原因 已完成
最后修改 官荣荣 于 2025-09-18 14:48:48
相关Bug
相关用例
相关需求
细分需求