需求背景:为了提升类目映射速度,利用采集获取映射关系
需求实现:
1.获取美国站所有有效的末节点,取到类目ID,拼装访问美国站的链接 https://www.amazon.com/gp/bestsellers/fashion/2515177011/ 最后一串数字为末节点的类目ID
2.拿到页面中排名第一的asin,拿到商品的标题前七个单词,去掉第一个单词(大概率是品牌),保留剩余的六个单词
3.分别访问剩余的19个站点,将这6个单词翻译为对应站点语种去搜索(如果是英语站点则不需要翻译),取返回结果中的第一个asin,并采集其类目
4.将采集结果保存到数据库,需要保存的字段为:美国站类目ID,美国站类目名称(完整路径),站点,对应站点ASIN,对应站点类目ID,对应站点类目名称(完整路径)
1.第三点修改为取前五个asin,采集类目
2.第四点,字段修改为
美国站类目ID,美国站类目名称(完整路径),TOP排行榜第一的ASIN,ASIN的标题,保留的6个单词,用于搜索的单词(翻译后的),站点,对应站点ASIN,排名,ASIN类目ID,对应站点类目名称(完整路径)