任务描述

需求详情:13784 ABA数据自动化采集 (zhcxkj.com)

一、背景

背景:目前ABA数据采集需要人工干预采集,会导致采集不及时,智能选品提报不稳定,耗费人力。
现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。
业务价值:提升ABA采集稳定性,释放开发人力(8H/周)

二、需求说明
2.1、自动采集数据
ABA关键词源数据(数据类型分为:周,月)采集
品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)

1、采集数据
1)周度-亚马逊关键词搜索
2)月度-亚马逊关键词收索

2、采集输入:
站点:US,UK
1)周度数据自动采集
周度数据:最近1周,按上次采集时间进行计算最近一周。
周度采集频率:每周2下午3点采集上一周ABA数据。
2)月度数据自动采集
月度数据:最近1个月,按上次采集时间进行计算最近一个月。
月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。

3、字段输出(以现有的存储格式为准):
部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称  ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。

注:不改变现有的数据存储格式。

4、数据存入智能选品ES(存如的数据库)
注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。

2.2、采集数据支持自动登录亚马逊后台
流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。
方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。
--具体方案由 舒鹏明 进行分解。
--涉及小工具开发语言:nedejs,.net
--小工具:1、多账号登录。2、AmzRobot 客户端
--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。

1、定时采集任务(智能选品团队开发)
推送内容:采集开始时间,采集站点,采集页面

2、多账号登录(采集组)
--具体方案由 舒鹏明 进行分解。

3、执行自动采集任务,返回华为云URL下载链接(采集组)
--具体方案由 舒鹏明 进行分解。

4、解析数据 (智能选品团队开发)
--解析ABA关键词数据,存储到ES用于智能选品自动提报。
--es格式不变,不影响现有的提报。
需求描述

需求详情:13784 ABA数据自动化采集 (zhcxkj.com)

一、背景

背景:目前ABA数据采集需要人工干预采集,会导致采集不及时,智能选品提报不稳定,耗费人力。
现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。
业务价值:提升ABA采集稳定性,释放开发人力(8H/周)

二、需求说明
2.1、自动采集数据
ABA关键词源数据(数据类型分为:周,月)采集
采集位置:Amazon后台-->品牌-->品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)

1、采集数据
1)周度-亚马逊关键词搜索
2)月度-亚马逊关键词收索

2、采集输入:
站点:US,UK
1)周度数据自动采集
周度数据:最近1周,按上次采集时间进行计算最近一周。
周度采集频率:每周2下午3点采集上一周ABA数据。
2)月度数据自动采集
月度数据:最近1个月,按上次采集时间进行计算最近一个月。
月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。

3、字段输出(以现有的存储格式为准):
部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称  ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。

注:不改变现有的数据存储格式。

4、数据存入智能选品ES(存如的数据库)
注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。

2.2、采集数据支持自动登录亚马逊后台
流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。
方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。
--具体方案由 舒鹏明 进行分解。
--涉及小工具开发语言:nedejs,.net
--小工具:1、多账号登录。2、AmzRobot 客户端
--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。

1、定时采集任务(智能选品团队开发)
推送内容:采集开始时间,采集站点,采集页面

2、多账号登录(采集组)
--具体方案由 舒鹏明 进行分解。

3、执行自动采集任务,返回华为云URL下载链接(采集组)
--具体方案由 舒鹏明 进行分解。

4、解析数据 (智能选品团队开发)
--解析ABA关键词数据,存储到ES用于智能选品自动提报。
--es格式不变,不影响现有的提报。
验收标准
暂无
历史记录  
  1. 2023-03-07 16:24:51, 由 dengying 创建。
  2. 2023-04-17 16:14:42, 由 dengying 完成。
    修改了 总计消耗,旧值为 "0",新值为 "4"。
    修改了 实际完成,旧值为 "",新值为 "2023-04-17 16:11:53"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2023-04-17 16:14:41"。
    修改了 预计剩余,旧值为 "8",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "dengying"。
    1。插入一条采集队列

    2.插入相同id的采集队列

    插入拦截
    3.查询采集队列状态抓取执行采集任务


    4.采集完成校验数据

    5.核对智能选品队列状态与采集组采集队列状态

  3. 2023-04-17 16:14:52, 由 dengying 编辑。
    修改了 预计开始,旧值为 "0000-00-00",新值为 "2023-04-17"。
    修改了 截止日期,旧值为 "0000-00-00",新值为 "2023-04-18"。
    修改了 任务描述,区别为:
    004- 现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。业务价值:提升ABA采集稳定性,释放开发人力(8H/周)二、需求说明2.1、自动采集数据ABA关键词源数据(数据类型分为:周,月)采集品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)1、采集数据1)周度-亚马逊关键词搜索2)月度-亚马逊关键词收索2、采集输入:站点:US,UK1)周度数据自动采集周度数据:最近1周,按上次采集时间进行计算最近一周。周度采集频率:每周2下午3点采集上一周ABA数据。2)月度数据自动采集月度数据:最近1个月,按上次采集时间进行计算最近一个月。月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。3、字段输出(以现有的存储格式为准):部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称  ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。注:不改变现有的数据存储格式。4、数据存入智能选品ES(存如的数据库)注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。2.2、采集数据支持自动登录亚马逊后台流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。--具体方案由 舒鹏明 进行分解。--涉及小工具开发语言:nedejs,.net--小工具:1、多账号登录。2、AmzRobot 客户端--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。1、定时采集任务(智能选品团队开发)推送内容:采集开始时间,采集站点,采集页面2、多账号登录(采集组)--具体方案由 舒鹏明 进行分解。3、执行自动采集任务,返回华为云URL下载链接(采集组)--具体方案由 舒鹏明 进行分解。4、解析数据 (智能选品团队开发)--解析ABA关键词数据,存储到ES用于智能选品自动提报。--es格式不变,不影响现有的提报。
    004+ 现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。业务价值:提升ABA采集稳定性,释放开发人力(8H/周)二、需求说明2.1、自动采集数据ABA关键词源数据(数据类型分为:周,月)采集品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)1、采集数据1)周度-亚马逊关键词搜索2)月度-亚马逊关键词收索2、采集输入:站点:US,UK1)周度数据自动采集周度数据:最近1周,按上次采集时间进行计算最近一周。周度采集频率:每周2下午3点采集上一周ABA数据。2)月度数据自动采集月度数据:最近1个月,按上次采集时间进行计算最近一个月。月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。3、字段输出(以现有的存储格式为准):部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称 ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。注:不改变现有的数据存储格式。4、数据存入智能选品ES(存如的数据库)注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。2.2、采集数据支持自动登录亚马逊后台流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。--具体方案由 舒鹏明 进行分解。--涉及小工具开发语言:nedejs,.net--小工具:1、多账号登录。2、AmzRobot 客户端--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。1、定时采集任务(智能选品团队开发)推送内容:采集开始时间,采集站点,采集页面2、多账号登录(采集组)--具体方案由 舒鹏明 进行分解。3、执行自动采集任务,返回华为云URL下载链接(采集组)--具体方案由 舒鹏明 进行分解。4、解析数据 (智能选品团队开发)--解析ABA关键词数据,存储到ES用于智能选品自动提报。--es格式不变,不影响现有的提报。
    004- 现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。<br />业务价值:提升ABA采集稳定性,释放开发人力(8H/周)<br /><br />二、需求说明<br />2.1、自动采集数据<br />ABA关键词源数据(数据类型分为:周,月)采集<br />品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)<br /><br />1、采集数据<br />1)周度-亚马逊关键词搜索<br />2)月度-亚马逊关键词收索<br /><br />2、采集输入:<br />站点:US,UK<br />1)周度数据自动采集<br />周度数据:最近1周,按上次采集时间进行计算最近一周。<br />周度采集频率:每周2下午3点采集上一周ABA数据。<br />2)月度数据自动采集<br />月度数据:最近1个月,按上次采集时间进行计算最近一个月。<br />月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。<br /><br />3、字段输出(以现有的存储格式为准):<br />部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称  ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。<br /><br />注:不改变现有的数据存储格式。<br /><br />4、数据存入智能选品ES(存如的数据库)<br />注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。<br /><br />2.2、采集数据支持自动登录亚马逊后台<br />流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。<br />方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。<br />--具体方案由 舒鹏明 进行分解。<br />--涉及小工具开发语言:nedejs,.net<br />--小工具:1、多账号登录。2、AmzRobot 客户端<br />--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。<br /><br />1、定时采集任务(智能选品团队开发)<br />推送内容:采集开始时间,采集站点,采集页面<br /><br />2、多账号登录(采集组)<br />--具体方案由 舒鹏明 进行分解。<br /><br />3、执行自动采集任务,返回华为云URL下载链接(采集组)<br />--具体方案由 舒鹏明 进行分解。<br /><br />4、解析数据 (智能选品团队开发)<br />--解析ABA关键词数据,存储到ES用于智能选品自动提报。<br />--es格式不变,不影响现有的提报。
    004+ 现状:对接ABA接口方案目前行不通,返回的数据非常大无法解析。<br />业务价值:提升ABA采集稳定性,释放开发人力(8H/周)<br /><br />二、需求说明<br />2.1、自动采集数据<br />ABA关键词源数据(数据类型分为:周,月)采集<br />品牌分析。(后台地址https://sellercentral.amazon.com/analytics/dashboard/searchTerms)<br /><br />1、采集数据<br />1)周度-亚马逊关键词搜索<br />2)月度-亚马逊关键词收索<br /><br />2、采集输入:<br />站点:US,UK<br />1)周度数据自动采集<br />周度数据:最近1周,按上次采集时间进行计算最近一周。<br />周度采集频率:每周2下午3点采集上一周ABA数据。<br />2)月度数据自动采集<br />月度数据:最近1个月,按上次采集时间进行计算最近一个月。<br />月度采集频率:每月4号上午9:00 自动采集上月ABA关键词数据。<br /><br />3、字段输出(以现有的存储格式为准):<br />部门 ,搜索词 ,搜索频率排名, ASIN 1 ,ASIN 1商品名称 ,ASIN 1点击共享 ,ASIN 1转化共享 , ASIN 2 , ASIN 2商品名称 ,ASIN 2点击共享,ASIN 2转化共享,ASIN 3,ASIN 3商品名称, ASIN 3点击共享 ,ASIN 3转化共享。<br /><br />注:不改变现有的数据存储格式。<br /><br />4、数据存入智能选品ES(存如的数据库)<br />注:数据格式存储与现在数据格式保持一致,以免影响后续的流程。<br /><br />2.2、采集数据支持自动登录亚马逊后台<br />流程:定时采集任务--》多账号登录--》采集工具自动登录亚马逊后台--》进行ABA数据采集--》返回华为云(广州服务器)URL链接。<br />方案:采集两套方案尝试 1)使用.net框架。2)使用nedejs框架。<br />--具体方案由 舒鹏明 进行分解。<br />--涉及小工具开发语言:nedejs,.net<br />--小工具:1、多账号登录。2、AmzRobot 客户端<br />--需用【多账号登录】进行账号登录,再到【AmzRobot 客户端】开发人工模拟采集数据。<br /><br />1、定时采集任务(智能选品团队开发)<br />推送内容:采集开始时间,采集站点,采集页面<br /><br />2、多账号登录(采集组)<br />--具体方案由 舒鹏明 进行分解。<br /><br />3、执行自动采集任务,返回华为云URL下载链接(采集组)<br />--具体方案由 舒鹏明 进行分解。<br /><br />4、解析数据 (智能选品团队开发)<br />--解析ABA关键词数据,存储到ES用于智能选品自动提报。<br />--es格式不变,不影响现有的提报。
  4. 2023-04-17 16:53:21, 由 dengying 关闭。
    修改了 任务状态,旧值为 "done",新值为 "closed"。
    修改了 指派给 ,旧值为 "dengying",新值为 "closed"。
    修改了 由谁关闭,旧值为 "",新值为 "dengying"。
    修改了 关闭时间,旧值为 "0000-00-00 00:00:00",新值为 "2023-04-17 16:53:21"。
    修改了 关闭原因,旧值为 "",新值为 "done"。
所属迭代 智能中心-智能选品迭代
所属模块 智能中心-需求池  战略独立项目   智能选品
相关需求 ABA数据自动化采集
指派给 Closed 于 2023-04-17 16:53:21
任务类型 测试
任务标签 初始
开发组 百货开发组
任务状态 已关闭
进度 100%
优先级 P1
关键词
抄送给
由谁创建 dengying 于 2023-03-07 16:24:51
由谁完成 dengying 于 2023-04-17 16:11:53
由谁取消 暂无
由谁关闭 dengying 于 2023-04-17 16:53:21
关闭原因 已完成
最后编辑 dengying 于 2023-04-17 16:53:21
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 8工时
总计消耗 4工时
预计剩余 0工时
预计开始 2023-04-17
实际开始 2023-04-17
截止日期 2023-04-18