业务需求
需求描述

需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力


一、WISH平台

  1.1 数据采集时间调整  :Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行

  1.2 采集去重逻辑

  • 后台余额:已采集数据中CrawlDate不包含当天则采集
  • 打款汇总:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集 
  • 打款明细:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集 
  • 交易明细:采集上月至当前月所有,需要采集的时间范围内的交易单号在已采集的数据中不存在则采集 

  1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)


二、CD平台

  2.1 数据采集时间调整  :Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行

  2.2 采集去重逻辑

  • 交易明细:采集上月数据,需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
  • 打款明细:采集上月数据,需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
  • 后台余额:已采集数据中CrawlDate不包含当天则采集
  • FBC:采集上月数据,需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
  2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集


三、Lazada平台

  3.1 数据采集时间调整  :Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行

  3.2 采集去重逻辑

  • 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
  • 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
  • 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
  • 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
  3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)


四、Allergo平台

  4.1 数据采集时间调整  :Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行

  4.2 采集去重逻辑

  • 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
  • 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
  • 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
  • 后台余额:已采集数据中CrawlDate不包含当天则采集

  4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)


五、Shopee平台

  5.1 数据采集时间调整  :Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行

  5.2 采集去重逻辑

  • 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
  • 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
  • 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
  • 后台余额:已采集数据中CrawlDate不包含当天则采集
  • 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集

  5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)

验收标准
价值描述
优化采集程序执行时间,降低人工操作成本。
历史记录  
  1. 2022-05-10 14:25:58, 由 梁贵荣 创建。
  2. 2022-05-10 14:42:53, 由 梁贵荣 变更。
    修改了 版本号 ,旧值为 "1",新值为 "2"。
    修改了 需求描述,区别为:
    014- 交易明细、保证金流水、退款订单数据:Cookie有效,开始采集上月数据(Shop Id去重)
    014+ 交易明细、保证金流水、退款订单数据:Cookie有效时,开始采集上月数据(需要采集的时间的Shop Id,已采集数据中没有)
    015- 打款明细:Cookie有效,开始采集上月数据(Tranfer date去重)
    015+ 打款明细:Cookie有效时,开始采集上月数据(需要采集的时间的Tranfer date,已采集数据中没有)
    016- 后台余额、账号欠款明细:Cookie有效,开始采集(CrawlDate去重)
    016+ 后台余额、账号欠款明细:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
    017- FBC、费发票、二程费:Cookie有效,开始采集上月数据(Invoice number去重)
    017+ FBC、费发票、二程费:Cookie有效时,开始采集上月数据(需要采集的时间的Invoice number,已采集数据中没有)
    018- 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
    018+ 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
    022-
    022+ 回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
    023- 回款账单:Cookie有效,开始采集上月、本月数据(Statement Number去重)
    023+ 流水明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
    024- 流水明细:Cookie有效,开始采集上月、本月数据(Statement Number去重)
    024+ 广告费:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间,已采集数据中Date没有)
    025- 广告费:Cookie有效,开始采集上月、本月数据(Date去重)
    025+ 交易明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的Transaction Date,已采集数据中没有)
    026- 交易明细:Cookie有效,开始采集上月、本月数据(Transaction Number去重)
    026+ 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    027- 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    027+
    028-
    028+ 四、Allergo平台
    029- 四、Allergo平台
    029+ 4.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    030- 4.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    030+ 订单明细:Cookie有效时,开始采集上月数据(需要采集的时间的OrderId,已采集数据中没有)
    031-
    031+ 运营明细:Cookie有效时,开始采集上月数据(需要采集的时间的identifier,已采集数据中没有)
    032- 订单明细:Cookie有效时,开始采集上月数据(OrderId去重)
    032+ 费用明细:Cookie有效时,开始采集上月数据(需要采集的时间的Offer ID,已采集数据中没有)
    033- 运营明细:Cookie有效时,开始采集上月数据(identifier去重)
    033+ 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
    034- 费用明细:Cookie有效时,开始采集上月数据(Offer ID去重)
    034+ 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    035- 后台余额:Cookie有效时,开始采集(当天不重复采集,CrawlDate去重)
    035+
    036-
    036+ 五、Shopee平台
    037- 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    037+ 5.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    038-
    038+ 账单明细:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
    039- 五、Shopee平台
    039+ 账单汇总:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
    040- 5.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    040+ 广告费:Cookie有效时,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)
    041-
    041+ 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate包含当天则不再采集)
    042- 账单明细:Cookie有效时,开始采集上月数据(拨款时间去重)
    042+ 交易明细:Cookie有效时,开始采集上月数据(需要采集的时间中的Order ID,在已采集数据中没有)
    043- 账单汇总:Cookie有效时,开始采集上月数据(拨款时间去重)
    043+ 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    044- 广告费:Cookie有效时,开始采集上月数据(上月时间不在已采集数据的开始日期、结束日期中间)
    045- 后台余额:Cookie有效时,开始采集(当天不重复采集,CrawlDate去重)
    046- 交易明细:Cookie有效时,开始采集上月数据(Order ID去重)
    047- 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    014- <ul><li>交易明细、保证金流水、退款订单数据:Cookie有效,开始采集上月数据(Shop Id去重)</li>
    014+ <ul><li>交易明细、保证金流水、退款订单数据:Cookie<span>有效时</span>,开始采集上月数据(<span><span>需要采集的时间的</span></span>Shop Id,<span>已采集数据中没有</span>)</li>
    015- <li>打款明细:Cookie有效,开始采集上月数据(Tranfer date去重)</li>
    015+ <li>打款明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Tranfer date</span>,</span><span>已采集数据中没有</span>)</li>
    016- <li>后台余额、账号欠款明细:Cookie有效,开始采集(CrawlDate去重)</li>
    016+ <li>后台余额、账号欠款明细:Cookie有效时,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
    017- <li>FBC、费发票、二程费:Cookie有效,开始采集上月数据(Invoice number去重)</li>
    017+ <li>FBC、费发票、二程费:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Invoice number</span>,</span><span>已采集数据中没有</span>)</li>
    018- </ul><span> 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
    018+ </ul><span> 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
    022- <p>
    022+ <ul><li>回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,<span>已采集数据中没有</span>)</li>
    023- </p><ul><li>回款账单:Cookie有效,开始采集上月、本月数据(Statement Number去重)</li>
    023+ <li>流水明细:Cookie有效,开始采集上月、本月数据(<span><span><span><span>需要采集的站点的时间的</span></span>Statement Number,</span><span>已采集数据中没有</span></span>)</li>
    024- <li>流水明细:Cookie有效,开始采集上月、本月数据(<span>Statement Number</span>去重)</li>
    024+ <li>广告费:Cookie有效,开始采集上月、本月数据(<span><span>需要采集的站点的</span>时间,<span>已采集数据</span>中</span>Date没有)</li>
    025- <li>广告费:Cookie有效,开始采集上月、本月数据(Date去重)</li>
    025+ <li>交易明细:Cookie有效,开始采集上月、本月数据(<span>需要采集的站点的</span>Transaction Date,<span>已采集数据中没有</span>)</li>
    026- <li>交易明细:Cookie有效,开始采集上月、本月数据(Transaction Number去重)</li>
    026+ </ul><span> 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    027- </ul><span> 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    027+ <p><br /></p>
    028- <p><br /></p>
    028+ <p>四、Allergo平台</p>
    029- <p>四、Allergo平台</p>
    029+ <p><span> 4.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
    030- <p><span> 4.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
    030+ <ul><li>订单明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span>OrderId,<span>已采集数据中没有</span>)</li>
    031- <p>
    031+ <li>运营明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>identifier</span>,</span><span>已采集数据中没有</span>)</li>
    032- </p><ul><li>订单明细:Cookie<span>有效时</span>,开始采集上月数据(OrderId去重)</li>
    032+ <li>费用明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Offer ID</span>,</span><span>已采集数据中没有</span>)</li>
    033- <li>运营明细:Cookie<span>有效时</span>,开始采集上月数据(identifier去重)</li>
    033+ <li>后台余额:Cookie<span>有效时</span>,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
    034- <li>费用明细:Cookie<span>有效时</span>,开始采集上月数据(Offer ID去重)</li>
    034+ </ul><p><span></span><span> 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    035- <li>后台余额:Cookie<span>有效时</span>,开始采集(当天不重复采集,CrawlDate去重)</li>
    035+ <p><br /></p>
    036- </ul><p><br /></p>
    036+ <p>五、Shopee平台</p>
    037- <p><span></span><span> 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    037+ <p><span> 5.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
    038- <p><br /></p>
    038+ <ul><li>账单明细:Cookie<span>有效时</span>,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)</li>
    039- <p>五、Shopee平台</p>
    039+ <li>账单汇总:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的拨款时间,已采集数据中没有</span>)</li>
    040- <p><span> 5.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
    040+ <li>广告费:Cookie<span>有效时</span>,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)</li>
    041- <p>
    041+ <li>后台余额:Cookie<span>有效时</span>,开始采集(已采集数据中CrawlDate包含当天则不再采集)</li>
    042- </p><ul><li>账单明细:Cookie<span>有效时</span>,开始采集上月数据(拨款时间去重)</li>
    042+ <li>交易明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的</span><span>时间中的</span>Order ID,在已采集数据中没有)</li>
    043- <li>账单汇总:Cookie<span>有效时</span>,开始采集上月数据(拨款时间去重)</li>
    043+ </ul><p><span> 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    044- <li>广告费:Cookie<span>有效时</span>,开始采集上月数据(上月时间不在已采集数据的开始日期、结束日期中间)</li>
    045- <li>后台余额:Cookie<span>有效时</span>,开始采集(当天不重复采集,CrawlDate去重)</li>
    046- <li>交易明细:Cookie<span>有效时</span>,开始采集上月数据(Order ID去重)</li>
    047- </ul><p><span> 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
  3. 2022-05-10 14:51:34, 由 刘灿 记录评审结果,结果为 确认通过。
    修改了 评审时间,旧值为 "0000-00-00",新值为 "2022-05-10"。
    修改了 指派给 ,旧值为 "Admin186",新值为 "liangguirong"。
    修改了 当前状态,旧值为 "draft",新值为 "active"。
    修改了 由谁评审,旧值为 "",新值为 "Admin186"。
  4. 2022-05-10 16:14:46, 由 梁贵荣 变更。
    修改了 指派给 ,旧值为 "liangguirong",新值为 "Admin186"。
    修改了 当前状态,旧值为 "active",新值为 "changed"。
    修改了 版本号 ,旧值为 "2",新值为 "3"。
    修改了 由谁评审,旧值为 "Admin186",新值为 ""。
    修改了 评审时间,旧值为 "2022-05-10",新值为 "0000-00-00"。
    修改了 需求描述,区别为:
    004- 1.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    004+ 1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    005-
    005+ 1.2采集去重逻辑
    006- 后台余额:Cookie有效时,开始采集当天的余额(当天不重复采集,CrawlDate去重)
    006+ 后台余额:已采集数据中CrawlDate不包含当天则采集
    007- 打款汇总:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重去重)
    007+ 打款汇总:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
    008- 打款明细:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重)
    008+ 打款明细:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
    009- 交易明细:Cookie有效时,开始采集上月至当前月所有的 (交易单号去重)
    009+ 交易明细:采集上月至当前月所有,需要采集的时间范围内的交易单号在已采集的数据中不存在则采集
    010- 1.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    010+ 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    013- 2.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
    013+ 2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    014- 交易明细、保证金流水、退款订单数据:Cookie有效时,开始采集上月数据(需要采集的时间的Shop Id,已采集数据中没有)
    014+ 2.2采集去重逻辑
    015- 打款明细:Cookie有效时,开始采集上月数据(需要采集的时间的Tranfer date,已采集数据中没有)
    015+ 交易明细:采集上月数据,需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
    016- 后台余额、账号欠款明细:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
    016+ 打款明细:采集上月数据,需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
    017- FBC、费发票、二程费:Cookie有效时,开始采集上月数据(需要采集的时间的Invoice number,已采集数据中没有)
    017+ 后台余额:已采集数据中CrawlDate不包含当天则采集
    018- 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
    018+ FBC:采集上月数据,需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
    019-
    019+ 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
    020- 三、Lazada平台
    020+
    021- 3.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    021+ 三、Lazada平台
    022- 回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
    022+ 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    023- 流水明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
    023+ 3.2采集去重逻辑
    024- 广告费:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间,已采集数据中Date没有)
    024+ 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    025- 交易明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的Transaction Date,已采集数据中没有)
    025+ 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    026- 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    026+ 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
    027-
    027+ 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
    028- 四、Allergo平台
    028+ 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    029- 4.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    029+
    030- 订单明细:Cookie有效时,开始采集上月数据(需要采集的时间的OrderId,已采集数据中没有)
    030+ 四、Allergo平台
    031- 运营明细:Cookie有效时,开始采集上月数据(需要采集的时间的identifier,已采集数据中没有)
    031+ 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    032- 费用明细:Cookie有效时,开始采集上月数据(需要采集的时间的Offer ID,已采集数据中没有)
    032+ 4.2 采集去重逻辑
    033- 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
    033+ 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
    034- 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    034+ 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
    035-
    035+ 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
    036- 五、Shopee平台
    036+ 后台余额:已采集数据中CrawlDate不包含当天则采集
    037- 5.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
    037+ 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    038- 账单明细:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
    038+
    039- 账单汇总:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
    039+ 五、Shopee平台
    040- 广告费:Cookie有效时,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)
    040+ 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    041- 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate包含当天则不再采集)
    041+ 5.2 采集去重逻辑
    042- 交易明细:Cookie有效时,开始采集上月数据(需要采集的时间中的Order ID,在已采集数据中没有)
    042+ 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    043- 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    043+ 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    044+ 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
    045+ 后台余额:已采集数据中CrawlDate不包含当天则采集
    046+ 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
    047+ 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    004- <p> 1.1 数据采集时间调整<span>(每天每个账号每个单据执行一次采集程序)</span></p>
    004+ <p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></p>
    005- <p><br /></p>
    005+ <p><span> 1.2</span><span>采集去重逻辑</span></p>
    006- <ul><li>后台余额:Cookie有效时,开始采集当天的余额(当天不重复采集,CrawlDate去重)</li>
    006+ <ul><li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    007- <li>打款汇总:Cookie<span>有效时</span>,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重去重)</li>
    007+ <li>打款汇总:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的付款成功状态的</span><span><span style="font-weight:700;"><span style="color:#E53333;">付款ID</span></span>在已采集的数据中不存在则采集</span><span></span></li>
    008- <li>打款明细:Cookie<span>有效时</span>,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重)</li>
    008+ <li>打款明细:采集上月至当前月所有,<span>需要采集的时间范围内的<span>付款成功状态的</span></span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>付款ID</span></span></span>在已采集的数据中不存在则采集</span><span></span></li>
    009- <li>交易明细:Cookie<span>有效时</span>,开始采集上月至当前月所有的 (交易单号去重)</li>
    009+ <li>交易明细:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>交易单号</span></span></span>在已采集的数据中不存在则采集</span></li>
    010- </ul><p><span> 1.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    010+ </ul><p><span> 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    013- <p><span> 2.1 数据采集时间调整 <span>(每天每个账号每个单据执行一次采集程序)</span></span></p>
    013+ <p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
    014- <ul><li>交易明细、保证金流水、退款订单数据:Cookie<span>有效时</span>,开始采集上月数据(<span><span>需要采集的时间的</span></span>Shop Id,<span>已采集数据中没有</span>)</li>
    014+ <p><span><span><span> 2.2</span><span>采集去重逻辑</span><br /></span></span></p>
    015- <li>打款明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Tranfer date</span>,</span><span>已采集数据中没有</span>)</li>
    015+ <ul><li>交易明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Shop Id</span></span></span>在已采集的数据中不存在则采集</span></li>
    016- <li>后台余额、账号欠款明细:Cookie有效时,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
    016+ <li>打款明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Tranfer date</span></span></span>在已采集的数据中不存在则采集</span></li>
    017- <li>FBC、费发票、二程费:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Invoice number</span>,</span><span>已采集数据中没有</span>)</li>
    017+ <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    018- </ul><span> 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
    018+ <li>FBC:<span>采集上月数据,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Invoice number</span></span></span>在已采集的数据中不存在则采集</span></li>
    019- <p><br /></p>
    019+ </ul><span> 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
    020- <p>三、Lazada平台</p>
    020+ <p><br /></p>
    021- <p><span> 3.1 数据采集时间调整<span></span><span>(每天每个账号每个单据执行一次采集程序)</span></span></p>
    021+ <p>三、Lazada平台</p>
    022- <ul><li>回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,<span>已采集数据中没有</span>)</li>
    022+ <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
    023- <li>流水明细:Cookie有效,开始采集上月、本月数据(<span><span><span><span>需要采集的站点的时间的</span></span>Statement Number,</span><span>已采集数据中没有</span></span>)</li>
    023+ <p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
    024- <li>广告费:Cookie有效,开始采集上月、本月数据(<span><span>需要采集的站点的</span>时间,<span>已采集数据</span>中</span>Date没有)</li>
    024+ <ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
    025- <li>交易明细:Cookie有效,开始采集上月、本月数据(<span>需要采集的站点的</span>Transaction Date,<span>已采集数据中没有</span>)</li>
    025+ <li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
    026- </ul><span> 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    026+ <li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
    027- <p><br /></p>
    027+ <li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
    028- <p>四、Allergo平台</p>
    028+ </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    029- <p><span> 4.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
    029+ <p><br /></p>
    030- <ul><li>订单明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span>OrderId,<span>已采集数据中没有</span>)</li>
    030+ <p>四、Allergo平台</p>
    031- <li>运营明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>identifier</span>,</span><span>已采集数据中没有</span>)</li>
    031+ <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>(每天18点~24点),当天执行过则不再执行</span></span></p>
    032- <li>费用明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Offer ID</span>,</span><span>已采集数据中没有</span>)</li>
    032+ <p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
    033- <li>后台余额:Cookie<span>有效时</span>,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
    033+ <ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
    034- </ul><p><span></span><span> 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    034+ <li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
    035- <p><br /></p>
    035+ <li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
    036- <p>五、Shopee平台</p>
    036+ <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    037- <p><span> 5.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
    037+ </ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    038- <ul><li>账单明细:Cookie<span>有效时</span>,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)</li>
    038+ <p><br /></p>
    039- <li>账单汇总:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的拨款时间,已采集数据中没有</span>)</li>
    039+ <p>五、Shopee平台</p>
    040- <li>广告费:Cookie<span>有效时</span>,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)</li>
    040+ <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序(每天18点~24点)<span>,当天执行过则不再执行</span></p>
    041- <li>后台余额:Cookie<span>有效时</span>,开始采集(已采集数据中CrawlDate包含当天则不再采集)</li>
    041+ <p><span> 5.2 采集去重逻辑</span></p>
    042- <li>交易明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的</span><span>时间中的</span>Order ID,在已采集数据中没有)</li>
    042+ <ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
    043- </ul><p><span> 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    043+ <li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
    044+ <li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
    045+ <li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
    046+ <li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
    047+ </ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
  5. 2022-05-10 16:44:55, 由 梁贵荣 关联到迭代 平台财务数据自动化获取(接口/小工具) 。
  6. 2022-05-10 16:48:41, 由 梁贵荣 变更。
    修改了 版本号 ,旧值为 "3",新值为 "4"。
    修改了 需求描述,区别为:
    004- 1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    004+ 1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    013- 2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    013+ 2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    022- 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    022+ 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    028- 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    028+ 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    031- 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    031+ 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    040- 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
    040+ 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    004- <p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></p>
    004+ <p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></p>
    013- <p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
    013+ <p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
    022- <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
    022+ <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
    028- </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    028+ </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    031- <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>(每天18点~24点),当天执行过则不再执行</span></span></p>
    031+ <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
    040- <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序(每天18点~24点)<span>,当天执行过则不再执行</span></p>
    040+ <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
  7. 2022-05-10 18:52:51, 由 刘灿 记录评审结果,结果为 确认通过。
    修改了 评审时间,旧值为 "0000-00-00",新值为 "2022-05-10"。
    修改了 指派给 ,旧值为 "Admin186",新值为 "liangguirong"。
    修改了 当前状态,旧值为 "changed",新值为 "active"。
    修改了 由谁评审,旧值为 "",新值为 "Admin186"。
  8. 2022-05-18 17:12:33, 由 梁贵荣 变更。
    修改了 当前状态,旧值为 "active",新值为 "changed"。
    修改了 版本号 ,旧值为 "4",新值为 "5"。
    修改了 由谁评审,旧值为 "Admin186",新值为 ""。
    修改了 评审时间,旧值为 "2022-05-10",新值为 "0000-00-00"。
    修改了 需求描述,区别为:
    019- 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
    019+
    020-
    020+ 三、Lazada平台
    021- 三、Lazada平台
    021+ 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    022- 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    022+ 3.2采集去重逻辑
    023- 3.2采集去重逻辑
    023+ 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    024- 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    024+ 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    025- 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    025+ 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
    026- 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
    026+ 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
    027- 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
    027+ 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    028- 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    028+
    029-
    029+ 四、Allergo平台
    030- 四、Allergo平台
    030+ 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    031- 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    031+ 4.2 采集去重逻辑
    032- 4.2 采集去重逻辑
    032+ 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
    033- 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
    033+ 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
    034- 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
    034+ 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
    035- 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
    035+ 后台余额:已采集数据中CrawlDate不包含当天则采集
    036- 后台余额:已采集数据中CrawlDate不包含当天则采集
    036+ 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    037- 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    037+
    038-
    038+ 五、Shopee平台
    039- 五、Shopee平台
    039+ 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    040- 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    040+ 5.2 采集去重逻辑
    041- 5.2 采集去重逻辑
    041+ 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    042- 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    042+ 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    043- 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    043+ 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
    044- 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
    044+ 后台余额:已采集数据中CrawlDate不包含当天则采集
    045- 后台余额:已采集数据中CrawlDate不包含当天则采集
    045+ 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
    046- 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
    046+ 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    047- 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    019- </ul><span> 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
    019+ </ul><p><br /></p>
    020- <p><br /></p>
    020+ <p>三、Lazada平台</p>
    021- <p>三、Lazada平台</p>
    021+ <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
    022- <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
    022+ <p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
    023- <p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
    023+ <ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
    024- <ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
    024+ <li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
    025- <li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
    025+ <li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
    026- <li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
    026+ <li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
    027- <li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
    027+ </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    028- </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    028+ <p><br /></p>
    029- <p><br /></p>
    029+ <p>四、Allergo平台</p>
    030- <p>四、Allergo平台</p>
    030+ <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
    031- <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
    031+ <p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
    032- <p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
    032+ <ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
    033- <ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
    033+ <li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
    034- <li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
    034+ <li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
    035- <li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
    035+ <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    036- <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    036+ </ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    037- </ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    037+ <p><br /></p>
    038- <p><br /></p>
    038+ <p>五、Shopee平台</p>
    039- <p>五、Shopee平台</p>
    039+ <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
    040- <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
    040+ <p><span> 5.2 采集去重逻辑</span></p>
    041- <p><span> 5.2 采集去重逻辑</span></p>
    041+ <ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
    042- <ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
    042+ <li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
    043- <li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
    043+ <li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
    044- <li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
    044+ <li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
    045- <li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
    045+ <li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
    046- <li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
    046+ </ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    047- </ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
  9. 2022-05-24 17:22:08, 由 梁贵荣 编辑。
    修改了 指派给,旧值为 "liangguirong",新值为 "shupengming"。
  10. 2022-06-13 13:43:27, 由 梁贵荣 变更。
    修改了 指派给 ,旧值为 "shupengming",新值为 "liangguirong"。
    修改了 版本号 ,旧值为 "5",新值为 "6"。
    修改了 需求名称,区别为:
    001- 综合平台数据采集时间以及登录逻辑调整
    001+ 综合平台浏览器访问模式调整
    001- 综合平台数据采集时间以及登录逻辑调整
    001+ 综合平台浏览器访问模式调整
    修改了 需求描述,区别为:
    001- 需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力
    001+ 需求背景:因为浏览器原因导致频繁遇到登录验证,通过调整浏览器访问模式解决此问题
    003- 一、WISH平台
    003+ 一、Wish、Lazada、Allegro、Shopee:登录获取Cookie以及采集时使用正常浏览器(不使用无痕)
    004- 1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    004+ 二、速卖通、Ebay、CD:登录获取Cookie以及采集时使用无痕浏览器
    005- 1.2采集去重逻辑
    006- 后台余额:已采集数据中CrawlDate不包含当天则采集
    007- 打款汇总:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
    008- 打款明细:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
    009- 交易明细:采集上月至当前月所有,需要采集的时间范围内的交易单号在已采集的数据中不存在则采集
    010- 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    011-
    012- 二、CD平台
    013- 2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    014- 2.2采集去重逻辑
    015- 交易明细:采集上月数据,需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
    016- 打款明细:采集上月数据,需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
    017- 后台余额:已采集数据中CrawlDate不包含当天则采集
    018- FBC:采集上月数据,需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
    019-
    020- 三、Lazada平台
    021- 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    022- 3.2采集去重逻辑
    023- 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    024- 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
    025- 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
    026- 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
    027- 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    028-
    029- 四、Allergo平台
    030- 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    031- 4.2 采集去重逻辑
    032- 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
    033- 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
    034- 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
    035- 后台余额:已采集数据中CrawlDate不包含当天则采集
    036- 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    037-
    038- 五、Shopee平台
    039- 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
    040- 5.2 采集去重逻辑
    041- 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    042- 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
    043- 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
    044- 后台余额:已采集数据中CrawlDate不包含当天则采集
    045- 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
    046- 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
    001- <p>需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力</p>
    001+ <p>需求背景:因为浏览器原因导致频繁遇到登录验证,通过调整浏览器访问模式解决此问题</p>
    003- <p>一、WISH平台</p>
    003+ <p>一、Wish、Lazada、Allegro、Shopee:登录获取Cookie以及采集时使用正常浏览器(不使用无痕)</p>
    004- <p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></p>
    004+ <p>二、速卖通、Ebay、CD:<span>登录获取Cookie以及采集时使用<span>无痕</span>浏览器</span></p>
    005- <p><span> 1.2</span><span>采集去重逻辑</span></p>
    006- <ul><li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    007- <li>打款汇总:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的付款成功状态的</span><span><span style="font-weight:700;"><span style="color:#E53333;">付款ID</span></span>在已采集的数据中不存在则采集</span><span></span></li>
    008- <li>打款明细:采集上月至当前月所有,<span>需要采集的时间范围内的<span>付款成功状态的</span></span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>付款ID</span></span></span>在已采集的数据中不存在则采集</span><span></span></li>
    009- <li>交易明细:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>交易单号</span></span></span>在已采集的数据中不存在则采集</span></li>
    010- </ul><p><span> 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    011- <p><br /></p>
    012- <p>二、CD平台</p>
    013- <p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
    014- <p><span><span><span> 2.2</span><span>采集去重逻辑</span><br /></span></span></p>
    015- <ul><li>交易明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Shop Id</span></span></span>在已采集的数据中不存在则采集</span></li>
    016- <li>打款明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Tranfer date</span></span></span>在已采集的数据中不存在则采集</span></li>
    017- <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    018- <li>FBC:<span>采集上月数据,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Invoice number</span></span></span>在已采集的数据中不存在则采集</span></li>
    019- </ul><p><br /></p>
    020- <p>三、Lazada平台</p>
    021- <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
    022- <p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
    023- <ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
    024- <li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
    025- <li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
    026- <li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
    027- </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
    028- <p><br /></p>
    029- <p>四、Allergo平台</p>
    030- <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
    031- <p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
    032- <ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
    033- <li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
    034- <li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
    035- <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
    036- </ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
    037- <p><br /></p>
    038- <p>五、Shopee平台</p>
    039- <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
    040- <p><span> 5.2 采集去重逻辑</span></p>
    041- <ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
    042- <li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
    043- <li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
    044- <li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
    045- <li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
    046- </ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
  11. 2022-06-13 13:45:55, 由 梁贵荣 编辑。
    修改了 预计工时,旧值为 "42",新值为 "28"。
  12. 2022-06-13 13:46:02, 由 梁贵荣 编辑。
    修改了 优先级,旧值为 "1",新值为 "3"。
  13. 2022-06-23 16:15:21, 由 梁贵荣 删除。
迭代版本
提报业务部门
提报人员 智能工具
需求来源 需求缺陷优化
所属项目 技术中心-需求池
所属模块 /
所属计划
业务价值
开发组
受益业务部门
验收人员
业务目标类型
中心业务目标
业务价值 提升人效
每月价值量 10人天/月
每月节省人数 0
优先级 P2
价值类型
预计工时 28
成本
ROI
操作手册
高价值
主被动
复杂度
工作流ID
工作流创建时间
更新点
是否高危 否
评分
当前状态 已变更
所处阶段 研发完毕
关键词
评审次数
计划上线
上线时间
计划验收时间
业务验收时间
满意度
价值验收
满意度分值
业务回填价值
验收达成价值
验收达成ROI
抄送给
由谁创建 梁贵荣 于 2022-05-10 14:25:58
指派给 梁贵荣 于 2022-06-13 13:43:27
由谁评审
评审时间
由谁关闭
关闭原因
最后修改 梁贵荣 于 2022-06-13 13:46:02