需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力
一、WISH平台
1.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 后台余额:Cookie有效时,开始采集当天的余额(当天不重复采集,CrawlDate去重)
- 打款汇总:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重去重)
- 打款明细:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重)
- 交易明细:Cookie有效时,开始采集上月至当前月所有的 (交易单号去重)
1.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
二、CD平台
2.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 交易明细、保证金流水、退款订单数据:Cookie有效时,开始采集上月数据(需要采集的时间的Shop Id,已采集数据中没有)
- 打款明细:Cookie有效时,开始采集上月数据(需要采集的时间的Tranfer date,已采集数据中没有)
- 后台余额、账号欠款明细:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
- FBC、费发票、二程费:Cookie有效时,开始采集上月数据(需要采集的时间的Invoice number,已采集数据中没有)
三、Lazada平台
3.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
- 流水明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
- 广告费:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间,已采集数据中Date没有)
- 交易明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的Transaction Date,已采集数据中没有)
四、Allergo平台
4.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 订单明细:Cookie有效时,开始采集上月数据(需要采集的时间的OrderId,已采集数据中没有)
- 运营明细:Cookie有效时,开始采集上月数据(需要采集的时间的identifier,已采集数据中没有)
- 费用明细:Cookie有效时,开始采集上月数据(需要采集的时间的Offer ID,已采集数据中没有)
- 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
五、Shopee平台
5.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
- 账单明细:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
- 账单汇总:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
- 广告费:Cookie有效时,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)
- 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate包含当天则不再采集)
- 交易明细:Cookie有效时,开始采集上月数据(需要采集的时间中的Order ID,在已采集数据中没有)
5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)