需求背景:目前亚马逊新接口需要上传PT,PT错误可能导致异常,需要通过爬虫模拟上传
需求实现:
1、通用队列的数据增加一个上传类型字段,分别为接口上传和爬虫上传,针对爬虫上传的数据处理逻辑如下
a、根据店铺汇总需要更新的listing信息(1个小时汇总一次,单个文件listing不能超过1000个),在最新的更新模版中将需要更新的listing和信息填充,并生成一个文件,上传到文件服务器(需要支持CDN加速)。
b、创建一个表记录需要爬虫上传的文件信息,记录文件地址,店铺信息,以及一个详情表,记录每个文件中对应的listing,方便后续爬虫写入messageid
c、待爬虫处理完成后回写状态,feedid信息到任务表和通用队列表
2、爬虫端处理
a、根据任务表获取需要处理的任务,根据店铺信息 将对应的文件上传到对应店铺的亚马逊后台(表格上传功能),并记录批次号和每条listing对应的messageid

b、根据批次号和messageid 从任务结果页面获取任务完成状态,并回写到任务表。

状态为完成的,代表整个批次全部成功,则将整个批次中所有listing都标记为成功
状态为需操作的,下载报告查看具体信息,通过返回的错误将对应的listing标记为失败

