暂无
任务描述
需求描述
一、背景
竞品库采集慢，影响竞品库竞品正常更新竞品。
业务价值：优化竞品采集逻辑，提升采集竞品稳定性，预估10w
验收人：沈伯潜
二、需求说明
SKU竞品库采集优化需求：
1、40个asin拼接采集销量等信息时。日本站点很多asin禁止显示，现改成页面上查不到的就直接走下一个流程，采集详情
2、优化整个流程，由原来的每天采集70万详情，提升到每天采集340万
3、图搜效率问题，需要提前刷cookie与token，但是现有的ip是旋转代理，常规的方式不支持，寻找方法突破，成功用现有的ip获取提前获取到cookie与token，可以满足一天20万sku的采集量
4、详情采集速度提升不上去，研究后发现是因为ip是随机的，在采集日本站点的时候，很多访问失败，这导致了速度慢，且成功率低。后调研市场的ip，并测试，选定新的性价比较高的ip，并更改代码提升采集速度
三、验收标准
按需求验收
验收标准
按需求验收