需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力
一、WISH平台
1.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 后台余额:Cookie有效时,开始采集当天的余额(当天不重复采集,CrawlDate去重)
- 打款汇总:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重去重)
- 打款明细:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重)
- 交易明细:Cookie有效时,开始采集上月至当前月所有的 (交易单号去重)
1.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
二、CD平台
2.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 交易明细、保证金流水、退款订单数据:Cookie有效,开始采集上月数据(Shop Id去重)
- 打款明细:Cookie有效,开始采集上月数据(Tranfer date去重)
- 后台余额、账号欠款明细:Cookie有效,开始采集(CrawlDate去重)
- FBC、费发票、二程费:Cookie有效,开始采集上月数据(Invoice number去重)
三、Lazada平台
3.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 回款账单:Cookie有效,开始采集上月、本月数据(Statement Number去重)
- 流水明细:Cookie有效,开始采集上月、本月数据(Statement Number去重)
- 广告费:Cookie有效,开始采集上月、本月数据(Date去重)
- 交易明细:Cookie有效,开始采集上月、本月数据(Transaction Number去重)
四、Allergo平台
4.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 订单明细:Cookie有效时,开始采集上月数据(OrderId去重)
- 运营明细:Cookie有效时,开始采集上月数据(identifier去重)
- 费用明细:Cookie有效时,开始采集上月数据(Offer ID去重)
- 后台余额:Cookie有效时,开始采集(当天不重复采集,CrawlDate去重)
4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
五、Shopee平台
5.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 账单明细:Cookie有效时,开始采集上月数据(拨款时间去重)
- 账单汇总:Cookie有效时,开始采集上月数据(拨款时间去重)
- 广告费:Cookie有效时,开始采集上月数据(上月时间不在已采集数据的开始日期、结束日期中间)
- 后台余额:Cookie有效时,开始采集(当天不重复采集,CrawlDate去重)
- 交易明细:Cookie有效时,开始采集上月数据(Order ID去重)
5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)