任务描述

  3.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  3.2 采集去重逻辑

  • 回款账单：采集上月、本月数据
  • 流水明细：采集上月、本月数据
  • 广告费：采集上月、本月数据
  • 交易明细：采集上月、本月数据
需求描述

需求背景：各个平台COOKIE时效太短，按照现有功能的采集频次太频繁，需要花费账号管理部很多人力


一、WISH平台

  1.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  1.2 采集去重逻辑

  • 后台余额：已采集数据中CrawlDate不包含当天则采集
  • 打款汇总：采集上月至当前月所有，需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集 
  • 打款明细：采集上月至当前月所有，需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集 
  • 交易明细：采集上月至当前月所有，需要采集的时间范围内的交易单号在已采集的数据中不存在则采集 

  1.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）


二、CD平台

  2.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  2.2 采集去重逻辑

  • 交易明细：采集上月数据，需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
  • 打款明细：采集上月数据，需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
  • 后台余额：已采集数据中CrawlDate不包含当天则采集
  • FBC：采集上月数据，需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
  2.3 添加自动登录程序：每月1、2、3日自动登录账号进行数据采集


三、Lazada平台

  3.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  3.2 采集去重逻辑

  • 回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
  • 流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
  • 广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据Date中不存在则采集
  • 交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
  3.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）


四、Allergo平台

  4.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  4.2 采集去重逻辑

  • 订单明细：采集上月数据，需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
  • 运营明细：采集上月数据，需要采集的时间范围内的identifier在已采集的数据中不存在则采集
  • 费用明细：采集上月数据，需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
  • 后台余额：已采集数据中CrawlDate不包含当天则采集

  4.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）


五、Shopee平台

  5.1 数据采集时间调整  ：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行

  5.2 采集去重逻辑

  • 账单明细：采集上月数据，需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
  • 账单汇总：采集上月数据，需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
  • 广告费：采集上月数据，需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
  • 后台余额：已采集数据中CrawlDate不包含当天则采集
  • 交易明细：采集上月数据，需要采集的时间范围内的Order ID在已采集数据中不存在则采集

  5.3 浏览器访问模式调整为：登录获取Cookie时、以及采集时使用正常浏览器（不使用无痕）

验收标准
暂无
历史记录  
  1. 2022-05-10 16:51:02, 由 梁贵荣 创建。
  2. 2022-05-10 16:53:04, 由 梁贵荣 编辑。
    修改了 任务描述，区别为：
    001- Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
    001+ 3.1数据采集时间调整：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
    002+ 3.2采集去重逻辑
    003+ 回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    004+ 流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    005+ 广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据Date中不存在则采集
    006+ 交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
    007+
    001- Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行
    001+ <p style="font-size:14px;background-color:#FFFFFF;"> 3.1数据采集时间调整：Cookie有效时，每天每个账号每个单据执行一次采集程序，当天执行过则不再执行</p>
    002+ <p style="font-size:14px;background-color:#FFFFFF;"> 3.2采集去重逻辑</p>
    003+ <ul style="font-size:14px;background-color:#FFFFFF;"><li>回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的<span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</li>
    004+ <li>流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的<span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</li>
    005+ <li>广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据<span style="color:#E53333;"><span style="font-weight:700;">Date</span></span><span style="font-weight:700;"><span style="color:#E53333;"></span></span>中不存在则采集</li>
    006+ <li>交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的<span style="font-weight:700;"><span style="color:#E53333;">Transaction Date</span></span>在已采集的数据中不存在则采集</li>
    007+ </ul>
  3. 2022-05-10 17:10:52, 由 zhubin 添加备注。

    实现代码如下：

  4. 2022-05-10 17:11:21, 由 zhubin 添加备注。

    基类种添加方法：

  5. 2022-05-10 17:12:59, 由 zhubin 添加备注。

    下载上个月整月数据+本月数据，结束时间调整为当前日期

  6. 2022-05-10 17:15:05, 由 zhubin 完成。
    修改了 总计消耗，旧值为 "0"，新值为 "4"。
    修改了 指派给 ，旧值为 "zhubin"，新值为 "liangguirong"。
    修改了 实际完成，旧值为 ""，新值为 "2022-05-10 17:14:57"。
    修改了 任务状态，旧值为 "wait"，新值为 "done"。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2022-05-10 17:15:05"。
    修改了 预计剩余，旧值为 "3"，新值为 "0"。
    修改了 由谁完成，旧值为 ""，新值为 "zhubin"。
  7. 2022-05-10 17:18:20, 由 zhubin 编辑。
    修改了 任务描述，区别为：
    003- 回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    003+ 回款账单：采集上月、本月数据
    004- 流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    004+ 流水明细：采集上月、本月数据
    005- 广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据Date中不存在则采集
    005+ 广告费：采集上月、本月数据
    006- 交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
    006+ 交易明细：采集上月、本月数据
    003- <ul style="font-size:14px;background-color:#FFFFFF;"><li>回款账单：采集上月、本月数据，需要采集的站点的对应时间范围内的<span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</li>
    003+ <ul style="font-size:14px;background-color:#FFFFFF;"><li>回款账单：采集上月、本月数据</li>
    004- <li>流水明细：采集上月、本月数据，需要采集的站点的对应时间范围内的<span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</li>
    004+ <li>流水明细：采集上月、本月数据</li>
    005- <li>广告费：采集上月、本月数据，需要采集的站点的对应时间日期，在已采集的数据<span style="color:#E53333;"><span style="font-weight:700;">Date</span></span><span style="font-weight:700;"><span style="color:#E53333;"></span></span>中不存在则采集</li>
    005+ <li>广告费：采集上月、本月数据</li>
    006- <li>交易明细：采集上月、本月数据，需要采集的站点的对应时间范围内的<span style="font-weight:700;"><span style="color:#E53333;">Transaction Date</span></span>在已采集的数据中不存在则采集</li>
    006+ <li>交易明细：采集上月、本月数据</li>
  8. 2022-06-27 16:46:28, 由 梁贵荣 关闭。
    修改了 任务状态，旧值为 "done"，新值为 "closed"。
    修改了 指派给 ，旧值为 "liangguirong"，新值为 "closed"。
    修改了 由谁关闭，旧值为 ""，新值为 "liangguirong"。
    修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2022-06-27 16:46:28"。
    修改了 关闭原因，旧值为 ""，新值为 "done"。
返回
所属迭代 平台财务数据自动化获取（接口/小工具）
所属模块 /
相关需求 综合平台浏览器访问模式调整
指派给 Closed 于 2022-06-27 16:46:28
任务类型 后端
任务标签 初始
开发组
任务状态 已关闭
进度 100%
优先级 P0
关键词
抄送给
由谁创建 梁贵荣 于 2022-05-10 16:51:02
由谁完成 zhubin 于 2022-05-10 17:14:57
由谁取消 暂无
由谁关闭 梁贵荣 于 2022-06-27 16:46:28
关闭原因 已完成
最后编辑 梁贵荣 于 2022-06-27 16:46:28
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 3工时
总计消耗 4工时
预计剩余 0工时
预计开始 2022-05-10
实际开始 2022-05-10
截止日期 2022-05-15