任务描述
Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
需求描述

需求背景：各个平台COOKIE时效太短，按照现有功能的采集频次太频繁，需要花费账号管理部很多人力


一、WISH平台

  1.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  1.2 采集去重逻辑

  • 后台余额：已采集数据中CrawlDate不包含当天则采集
  • 打款汇总：采集上月至当前月所有，需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集 
  • 打款明细：采集上月至当前月所有，需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集 
  • 交易明细：采集上月至当前月所有，需要采集的时间范围内的交易单号在已采集的数据中不存在则采集 

  1.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）


二、CD平台

  2.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  2.2 采集去重逻辑

  • 交易明细：采集上月数据，需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
  • 打款明细：采集上月数据，需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
  • 后台余额：已采集数据中CrawlDate不包含当天则采集
  • FBC：采集上月数据，需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
  2.3 添加自动登录程序：每月1、2、3日自动登录账号进行数据采集


三、Lazada平台

  3.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  3.2 采集去重逻辑

  • 回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
  • 流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
  • 广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据Date中不存在则采集
  • 交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
  3.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）


四、Allergo平台

  4.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  4.2 采集去重逻辑

  • 订单明细：采集上月数据，需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
  • 运营明细：采集上月数据，需要采集的时间范围内的identifier在已采集的数据中不存在则采集
  • 费用明细：采集上月数据，需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
  • 后台余额：已采集数据中CrawlDate不包含当天则采集

  4.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）


五、Shopee平台

  5.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  5.2 采集去重逻辑

  • 账单明细：采集上月数据，需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
  • 账单汇总：采集上月数据，需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
  • 广告费：采集上月数据，需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
  • 后台余额：已采集数据中CrawlDate不包含当天则采集
  • 交易明细：采集上月数据，需要采集的时间范围内的Order ID在已采集数据中不存在则采集

  5.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）

验收标准
暂无
历史记录  
  1. 2022-05-10 16:52:15, 由 梁贵荣 创建。
  2. 2022-05-10 17:14:14, 由 zhubin 添加备注。

    实现代码如下：

    基类实现：

  3. 2022-05-10 17:14:51, 由 zhubin 完成。
    修改了 总计消耗，旧值为 "0"，新值为 "3"。
    修改了 指派给 ，旧值为 "zhubin"，新值为 "liangguirong"。
    修改了 实际完成，旧值为 ""，新值为 "2022-05-10 17:14:47"。
    修改了 任务状态，旧值为 "wait"，新值为 "done"。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2022-05-10 17:14:51"。
    修改了 预计剩余，旧值为 "3"，新值为 "0"。
    修改了 由谁完成，旧值为 ""，新值为 "zhubin"。
  4. 2022-06-27 16:46:28, 由 梁贵荣 关闭。
    修改了 任务状态，旧值为 "done"，新值为 "closed"。
    修改了 指派给 ，旧值为 "liangguirong"，新值为 "closed"。
    修改了 由谁关闭，旧值为 ""，新值为 "liangguirong"。
    修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2022-06-27 16:46:28"。
    修改了 关闭原因，旧值为 ""，新值为 "done"。
所属迭代 平台财务数据自动化获取（接口/小工具）
所属模块 /
相关需求 综合平台浏览器访问模式调整
指派给 Closed 于 2022-06-27 16:46:28
任务类型 后端
任务标签 初始
开发组
任务状态 已关闭
进度 100%
优先级 P2
关键词
抄送给
由谁创建 梁贵荣 于 2022-05-10 16:52:15
由谁完成 zhubin 于 2022-05-10 17:14:47
由谁取消 暂无
由谁关闭 梁贵荣 于 2022-06-27 16:46:28
关闭原因 已完成
最后编辑 梁贵荣 于 2022-06-27 16:46:28
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 3工时
总计消耗 3工时
预计剩余 0工时
预计开始 2022-05-10
实际开始 2022-05-10
截止日期 2022-05-15