需求详情:13784 ABA数据自动化采集 (zhcxkj.com)
一、背景
背景:目前ABA数据采集需要人工干预采集,会导致采集不及时,智能选品提报不稳定,耗费人力。现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。
业务价值:提升ABA采集稳定性,释放开发人力(8H/周)
二、需求说明
2.1、自动采集数据
ABA关键词源数据(数据类型分为:周,月)采集
品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)
1、采集数据
1)周度-亚马逊关键词搜索
2)月度-亚马逊关键词收索
2、采集输入:
站点:US,UK
1)周度数据自动采集
周度数据:最近1周,按上次采集时间进行计算最近一周。
周度采集频率:每周2下午3点采集上一周ABA数据。
2)月度数据自动采集
月度数据:最近1个月,按上次采集时间进行计算最近一个月。
月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。
3、字段输出(以现有的存储格式为准):
部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称 ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。
注:不改变现有的数据存储格式。
4、数据存入智能选品ES(存如的数据库)
注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。
2.2、采集数据支持自动登录亚马逊后台
流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。
方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。
--具体方案由 舒鹏明 进行分解。
--涉及小工具开发语言:nedejs,.net
--小工具:1、多账号登录。2、AmzRobot 客户端
--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。
1、定时采集任务(智能选品团队开发)
推送内容:采集开始时间,采集站点,采集页面
2、多账号登录(采集组)
--具体方案由 舒鹏明 进行分解。
3、执行自动采集任务,返回华为云URL下载链接(采集组)
--具体方案由 舒鹏明 进行分解。
4、解析数据 (智能选品团队开发)
--解析ABA关键词数据,存储到ES用于智能选品自动提报。
--es格式不变,不影响现有的提报。
2.插入相同id的采集队列
插入拦截



3.查询采集队列状态抓取执行采集任务
4.采集完成校验数据
5.核对智能选品队列状态与采集组采集队列状态