任务描述
需求描述
需求背景:为了提升类目映射速度,利用采集获取映射关系
需求实现:
1.获取美国站所有有效的末节点,取到类目ID,拼装访问美国站的链接 https://www.amazon.com/gp/bestsellers/fashion/2515177011/ 最后一串数字为末节点的类目ID
2.拿到页面中排名第一的asin,拿到商品的标题前七个单词,去掉第一个单词(大概率是品牌),保留剩余的六个单词
3.分别访问剩余的19个站点,将这6个单词翻译为对应站点语种去搜索(如果是英语站点则不需要翻译),取返回结果中的第一个asin,并采集其类目
4.将采集结果保存到数据库,需要保存的字段为:美国站类目ID,美国站类目名称(完整路径),站点,对应站点ASIN,对应站点类目ID,对应站点类目名称(完整路径)
验收标准
暂无
涉及项目:amazonworker
将采集端采集回来us站点对应映射分类,与erp分类匹配反写对应存储表:LastCategoryAsin
新增字段:
US站点:ErpUsBrowseID,ErpUsBrowseName,ErpUsBrowseNameCN,ErpUsBrowsePathByID,ErpUsBrowsePathByName
映射站点:ErpBrowseID,ErpBrowseName,ErpBrowseNameCN,ErpBrowsePathByID,ErpBrowsePathByName
反写完成后,状态修改为:ErpStatus=1
查询脚本:db.getCollection("LastCategoryAsin").find({"ErpStatus" : 1,"Status":1}).count(0)
数据目前持续在跑