任务描述
需求描述
需求背景:为了提升类目映射速度,利用采集获取映射关系
需求实现:
1.获取美国站所有有效的末节点,取到类目ID,拼装访问美国站的链接 https://www.amazon.com/gp/bestsellers/fashion/2515177011/ 最后一串数字为末节点的类目ID
2.拿到页面中排名第一的asin,拿到商品的标题前七个单词,去掉第一个单词(大概率是品牌),保留剩余的六个单词
3.分别访问剩余的19个站点,将这6个单词翻译为对应站点语种去搜索(如果是英语站点则不需要翻译),取返回结果中的第一个asin,并采集其类目
4.将采集结果保存到数据库,需要保存的字段为:美国站类目ID,美国站类目名称(完整路径),站点,对应站点ASIN,对应站点类目ID,对应站点类目名称(完整路径)
验收标准
暂无