任务描述
登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）
需求描述
需求背景：各个平台COOKIE时效太短，按照现有功能的采集频次太频繁，需要花费账号管理部很多人力
一、WISH平台
1.1 数据采集时间调整 ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
1.2 采集去重逻辑
- 后台余额：已采集数据中CrawlDate不包含当天则采集
- 打款汇总：采集上月至当前月所有，需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
- 打款明细：采集上月至当前月所有，需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
- 交易明细：采集上月至当前月所有，需要采集的时间范围内的交易单号在已采集的数据中不存在则采集
1.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）
二、CD平台
2.1 数据采集时间调整 ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
2.2 采集去重逻辑
- 交易明细：采集上月数据，需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
- 打款明细：采集上月数据，需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
- 后台余额：已采集数据中CrawlDate不包含当天则采集
- FBC：采集上月数据，需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
三、Lazada平台
3.1 数据采集时间调整 ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
3.2 采集去重逻辑
- 回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
- 流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
- 广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据Date中不存在则采集
- 交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
四、Allergo平台
4.1 数据采集时间调整 ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
4.2 采集去重逻辑
- 订单明细：采集上月数据，需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
- 运营明细：采集上月数据，需要采集的时间范围内的identifier在已采集的数据中不存在则采集
- 费用明细：采集上月数据，需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
- 后台余额：已采集数据中CrawlDate不包含当天则采集
4.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）
五、Shopee平台
5.1 数据采集时间调整 ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
5.2 采集去重逻辑
- 账单明细：采集上月数据，需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
- 账单汇总：采集上月数据，需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
- 广告费：采集上月数据，需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
- 后台余额：已采集数据中CrawlDate不包含当天则采集
- 交易明细：采集上月数据，需要采集的时间范围内的Order ID在已采集数据中不存在则采集
5.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）
验收标准
暂无