一、背景

竞品库采集慢，影响竞品库竞品正常更新竞品。

业务价值：优化竞品采集逻辑，提升采集竞品稳定性，预估10w

验收人：沈伯潜

二、需求说明

SKU竞品库采集优化需求：

1、40个asin拼接采集销量等信息时。日本站点很多asin禁止显示，现改成页面上查不到的就直接走下一个流程，采集详情

2、优化整个流程，由原来的每天采集70万详情，提升到每天采集340万

3、图搜效率问题，需要提前刷cookie与token，但是现有的ip是旋转代理，常规的方式不支持，寻找方法突破，成功用现有的ip获取提前获取到cookie与token，可以满足一天20万sku的采集量

4、详情采集速度提升不上去，研究后发现是因为ip是随机的，在采集日本站点的时候，很多访问失败，这导致了速度慢，且成功率低。后调研市场的ip，并测试，选定新的性价比较高的ip，并更改代码提升采集速度

三、验收标准

按需求验收