需求背景:因为浏览器原因导致频繁遇到登录验证,通过调整浏览器访问模式解决此问题
一、Wish、Lazada、Allegro、Shopee:登录获取Cookie以及采集时使用正常浏览器(不使用无痕)
二、速卖通、Ebay、CD:登录获取Cookie以及采集时使用无痕浏览器
需求背景:因为浏览器原因导致频繁遇到登录验证,通过调整浏览器访问模式解决此问题
一、Wish、Lazada、Allegro、Shopee:登录获取Cookie以及采集时使用正常浏览器(不使用无痕)
二、速卖通、Ebay、CD:登录获取Cookie以及采集时使用无痕浏览器
014-交易明细、保证金流水、退款订单数据:Cookie有效,开始采集上月数据(Shop Id去重)
014+ 交易明细、保证金流水、退款订单数据:Cookie有效时,开始采集上月数据(需要采集的时间的Shop Id,已采集数据中没有)
015-打款明细:Cookie有效,开始采集上月数据(Tranfer date去重)
015+ 打款明细:Cookie有效时,开始采集上月数据(需要采集的时间的Tranfer date,已采集数据中没有)
016-后台余额、账号欠款明细:Cookie有效,开始采集(CrawlDate去重)
016+ 后台余额、账号欠款明细:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
017-FBC、费发票、二程费:Cookie有效,开始采集上月数据(Invoice number去重)
017+ FBC、费发票、二程费:Cookie有效时,开始采集上月数据(需要采集的时间的Invoice number,已采集数据中没有)
018-2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
018+ 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
022-
022+ 回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
023-回款账单:Cookie有效,开始采集上月、本月数据(Statement Number去重)
023+ 流水明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
024-流水明细:Cookie有效,开始采集上月、本月数据(Statement Number去重)
024+ 广告费:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间,已采集数据中Date没有)
025-广告费:Cookie有效,开始采集上月、本月数据(Date去重)
025+ 交易明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的Transaction Date,已采集数据中没有)
026-交易明细:Cookie有效,开始采集上月、本月数据(Transaction Number去重)
026+ 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
027-3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
027+
028-
028+ 四、Allergo平台
029-四、Allergo平台
029+ 4.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
030-4.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
030+ 订单明细:Cookie有效时,开始采集上月数据(需要采集的时间的OrderId,已采集数据中没有)
031-
031+ 运营明细:Cookie有效时,开始采集上月数据(需要采集的时间的identifier,已采集数据中没有)
032-订单明细:Cookie有效时,开始采集上月数据(OrderId去重)
032+ 费用明细:Cookie有效时,开始采集上月数据(需要采集的时间的Offer ID,已采集数据中没有)
033-运营明细:Cookie有效时,开始采集上月数据(identifier去重)
033+ 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
034-费用明细:Cookie有效时,开始采集上月数据(Offer ID去重)
034+ 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
035-后台余额:Cookie有效时,开始采集(当天不重复采集,CrawlDate去重)
035+
036-
036+ 五、Shopee平台
037-4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
037+ 5.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
038-
038+ 账单明细:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
039-五、Shopee平台
039+ 账单汇总:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
040-5.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
040+ 广告费:Cookie有效时,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)
041-
041+ 后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate包含当天则不再采集)
042-账单明细:Cookie有效时,开始采集上月数据(拨款时间去重)
042+ 交易明细:Cookie有效时,开始采集上月数据(需要采集的时间中的Order ID,在已采集数据中没有)
043-账单汇总:Cookie有效时,开始采集上月数据(拨款时间去重)
043+ 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
044-广告费:Cookie有效时,开始采集上月数据(上月时间不在已采集数据的开始日期、结束日期中间)
045-后台余额:Cookie有效时,开始采集(当天不重复采集,CrawlDate去重)
046-交易明细:Cookie有效时,开始采集上月数据(Order ID去重)
047-5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
014-<ul><li>交易明细、保证金流水、退款订单数据:Cookie有效,开始采集上月数据(Shop Id去重)</li>
014+ <ul><li>交易明细、保证金流水、退款订单数据:Cookie<span>有效时</span>,开始采集上月数据(<span><span>需要采集的时间的</span></span>Shop Id,<span>已采集数据中没有</span>)</li>
015-<li>打款明细:Cookie有效,开始采集上月数据(Tranfer date去重)</li>
015+ <li>打款明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Tranfer date</span>,</span><span>已采集数据中没有</span>)</li>
016-<li>后台余额、账号欠款明细:Cookie有效,开始采集(CrawlDate去重)</li>
016+ <li>后台余额、账号欠款明细:Cookie有效时,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
017-<li>FBC、费发票、二程费:Cookie有效,开始采集上月数据(Invoice number去重)</li>
017+ <li>FBC、费发票、二程费:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Invoice number</span>,</span><span>已采集数据中没有</span>)</li>
018-</ul><span> 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
018+ </ul><span> 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
022-<p>
022+ <ul><li>回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,<span>已采集数据中没有</span>)</li>
023-</p><ul><li>回款账单:Cookie有效,开始采集上月、本月数据(Statement Number去重)</li>
023+ <li>流水明细:Cookie有效,开始采集上月、本月数据(<span><span><span><span>需要采集的站点的时间的</span></span>Statement Number,</span><span>已采集数据中没有</span></span>)</li>
024-<li>流水明细:Cookie有效,开始采集上月、本月数据(<span>Statement Number</span>去重)</li>
024+ <li>广告费:Cookie有效,开始采集上月、本月数据(<span><span>需要采集的站点的</span>时间,<span>已采集数据</span>中</span>Date没有)</li>
025-<li>广告费:Cookie有效,开始采集上月、本月数据(Date去重)</li>
025+ <li>交易明细:Cookie有效,开始采集上月、本月数据(<span>需要采集的站点的</span>Transaction Date,<span>已采集数据中没有</span>)</li>
026-<li>交易明细:Cookie有效,开始采集上月、本月数据(Transaction Number去重)</li>
026+ </ul><span> 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
027-</ul><span> 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
027+ <p><br /></p>
028-<p><br /></p>
028+ <p>四、Allergo平台</p>
029-<p>四、Allergo平台</p>
029+ <p><span> 4.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
030-<p><span> 4.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
030+ <ul><li>订单明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span>OrderId,<span>已采集数据中没有</span>)</li>
031-<p>
031+ <li>运营明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>identifier</span>,</span><span>已采集数据中没有</span>)</li>
032-</p><ul><li>订单明细:Cookie<span>有效时</span>,开始采集上月数据(OrderId去重)</li>
032+ <li>费用明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Offer ID</span>,</span><span>已采集数据中没有</span>)</li>
033-<li>运营明细:Cookie<span>有效时</span>,开始采集上月数据(identifier去重)</li>
033+ <li>后台余额:Cookie<span>有效时</span>,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
034-<li>费用明细:Cookie<span>有效时</span>,开始采集上月数据(Offer ID去重)</li>
034+ </ul><p><span></span><span> 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
035-<li>后台余额:Cookie<span>有效时</span>,开始采集(当天不重复采集,CrawlDate去重)</li>
035+ <p><br /></p>
036-</ul><p><br /></p>
036+ <p>五、Shopee平台</p>
037-<p><span></span><span> 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
037+ <p><span> 5.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
038-<p><br /></p>
038+ <ul><li>账单明细:Cookie<span>有效时</span>,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)</li>
039-<p>五、Shopee平台</p>
039+ <li>账单汇总:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的拨款时间,已采集数据中没有</span>)</li>
040-<p><span> 5.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
040+ <li>广告费:Cookie<span>有效时</span>,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)</li>
041-<p>
041+ <li>后台余额:Cookie<span>有效时</span>,开始采集(已采集数据中CrawlDate包含当天则不再采集)</li>
042-</p><ul><li>账单明细:Cookie<span>有效时</span>,开始采集上月数据(拨款时间去重)</li>
042+ <li>交易明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的</span><span>时间中的</span>Order ID,在已采集数据中没有)</li>
043-<li>账单汇总:Cookie<span>有效时</span>,开始采集上月数据(拨款时间去重)</li>
043+ </ul><p><span> 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
044-<li>广告费:Cookie<span>有效时</span>,开始采集上月数据(上月时间不在已采集数据的开始日期、结束日期中间)</li>
045-<li>后台余额:Cookie<span>有效时</span>,开始采集(当天不重复采集,CrawlDate去重)</li>
046-<li>交易明细:Cookie<span>有效时</span>,开始采集上月数据(Order ID去重)</li>
047-</ul><p><span> 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
004-1.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
004+ 1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
005-
005+ 1.2采集去重逻辑
006-后台余额:Cookie有效时,开始采集当天的余额(当天不重复采集,CrawlDate去重)
006+ 后台余额:已采集数据中CrawlDate不包含当天则采集
007-打款汇总:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重去重)
007+ 打款汇总:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
008-打款明细:Cookie有效时,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重)
008+ 打款明细:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
009-交易明细:Cookie有效时,开始采集上月至当前月所有的 (交易单号去重)
009+ 交易明细:采集上月至当前月所有,需要采集的时间范围内的交易单号在已采集的数据中不存在则采集
010-1.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
010+ 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
013-2.1 数据采集时间调整 (每天每个账号每个单据执行一次采集程序)
013+ 2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
014-交易明细、保证金流水、退款订单数据:Cookie有效时,开始采集上月数据(需要采集的时间的Shop Id,已采集数据中没有)
014+ 2.2采集去重逻辑
015-打款明细:Cookie有效时,开始采集上月数据(需要采集的时间的Tranfer date,已采集数据中没有)
015+ 交易明细:采集上月数据,需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
016-后台余额、账号欠款明细:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
016+ 打款明细:采集上月数据,需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
017-FBC、费发票、二程费:Cookie有效时,开始采集上月数据(需要采集的时间的Invoice number,已采集数据中没有)
017+ 后台余额:已采集数据中CrawlDate不包含当天则采集
018-2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
018+ FBC:采集上月数据,需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
019-
019+ 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
020-三、Lazada平台
020+
021-3.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
021+ 三、Lazada平台
022-回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
022+ 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
023-流水明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,已采集数据中没有)
023+ 3.2采集去重逻辑
024-广告费:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间,已采集数据中Date没有)
024+ 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
025-交易明细:Cookie有效,开始采集上月、本月数据(需要采集的站点的Transaction Date,已采集数据中没有)
025+ 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
026-3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
026+ 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
027-
027+ 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
028-四、Allergo平台
028+ 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
029-4.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
029+
030-订单明细:Cookie有效时,开始采集上月数据(需要采集的时间的OrderId,已采集数据中没有)
030+ 四、Allergo平台
031-运营明细:Cookie有效时,开始采集上月数据(需要采集的时间的identifier,已采集数据中没有)
031+ 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
032-费用明细:Cookie有效时,开始采集上月数据(需要采集的时间的Offer ID,已采集数据中没有)
032+ 4.2 采集去重逻辑
033-后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate存在当天则不再采集)
033+ 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
034-4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
034+ 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
035-
035+ 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
036-五、Shopee平台
036+ 后台余额:已采集数据中CrawlDate不包含当天则采集
037-5.1 数据采集时间调整(每天每个账号每个单据执行一次采集程序)
037+ 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
038-账单明细:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
038+
039-账单汇总:Cookie有效时,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)
039+ 五、Shopee平台
040-广告费:Cookie有效时,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)
040+ 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
041-后台余额:Cookie有效时,开始采集(已采集数据中CrawlDate包含当天则不再采集)
041+ 5.2 采集去重逻辑
042-交易明细:Cookie有效时,开始采集上月数据(需要采集的时间中的Order ID,在已采集数据中没有)
042+ 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
043-5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
043+ 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
044+ 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
045+ 后台余额:已采集数据中CrawlDate不包含当天则采集
046+ 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
047+ 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
004-<p> 1.1 数据采集时间调整<span>(每天每个账号每个单据执行一次采集程序)</span></p>
004+ <p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></p>
005-<p><br /></p>
005+ <p><span> 1.2</span><span>采集去重逻辑</span></p>
006-<ul><li>后台余额:Cookie有效时,开始采集当天的余额(当天不重复采集,CrawlDate去重)</li>
006+ <ul><li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
007-<li>打款汇总:Cookie<span>有效时</span>,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重去重)</li>
007+ <li>打款汇总:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的付款成功状态的</span><span><span style="font-weight:700;"><span style="color:#E53333;">付款ID</span></span>在已采集的数据中不存在则采集</span><span></span></li>
008-<li>打款明细:Cookie<span>有效时</span>,开始采集上月至当前月所有,付款状态为成功的 (付款ID去重)</li>
008+ <li>打款明细:采集上月至当前月所有,<span>需要采集的时间范围内的<span>付款成功状态的</span></span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>付款ID</span></span></span>在已采集的数据中不存在则采集</span><span></span></li>
009-<li>交易明细:Cookie<span>有效时</span>,开始采集上月至当前月所有的 (交易单号去重)</li>
009+ <li>交易明细:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>交易单号</span></span></span>在已采集的数据中不存在则采集</span></li>
010-</ul><p><span> 1.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
010+ </ul><p><span> 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
013-<p><span> 2.1 数据采集时间调整 <span>(每天每个账号每个单据执行一次采集程序)</span></span></p>
013+ <p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
014-<ul><li>交易明细、保证金流水、退款订单数据:Cookie<span>有效时</span>,开始采集上月数据(<span><span>需要采集的时间的</span></span>Shop Id,<span>已采集数据中没有</span>)</li>
014+ <p><span><span><span> 2.2</span><span>采集去重逻辑</span><br /></span></span></p>
015-<li>打款明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Tranfer date</span>,</span><span>已采集数据中没有</span>)</li>
015+ <ul><li>交易明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Shop Id</span></span></span>在已采集的数据中不存在则采集</span></li>
016-<li>后台余额、账号欠款明细:Cookie有效时,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
016+ <li>打款明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Tranfer date</span></span></span>在已采集的数据中不存在则采集</span></li>
017-<li>FBC、费发票、二程费:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Invoice number</span>,</span><span>已采集数据中没有</span>)</li>
017+ <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
018-</ul><span> 2.2 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
018+ <li>FBC:<span>采集上月数据,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Invoice number</span></span></span>在已采集的数据中不存在则采集</span></li>
019-<p><br /></p>
019+ </ul><span> 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
020-<p>三、Lazada平台</p>
020+ <p><br /></p>
021-<p><span> 3.1 数据采集时间调整<span></span><span>(每天每个账号每个单据执行一次采集程序)</span></span></p>
021+ <p>三、Lazada平台</p>
022-<ul><li>回款账单:Cookie有效,开始采集上月、本月数据(需要采集的站点的时间的Statement Number,<span>已采集数据中没有</span>)</li>
022+ <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
023-<li>流水明细:Cookie有效,开始采集上月、本月数据(<span><span><span><span>需要采集的站点的时间的</span></span>Statement Number,</span><span>已采集数据中没有</span></span>)</li>
023+ <p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
024-<li>广告费:Cookie有效,开始采集上月、本月数据(<span><span>需要采集的站点的</span>时间,<span>已采集数据</span>中</span>Date没有)</li>
024+ <ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
025-<li>交易明细:Cookie有效,开始采集上月、本月数据(<span>需要采集的站点的</span>Transaction Date,<span>已采集数据中没有</span>)</li>
025+ <li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
026-</ul><span> 3.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
026+ <li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
027-<p><br /></p>
027+ <li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
028-<p>四、Allergo平台</p>
028+ </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
029-<p><span> 4.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
029+ <p><br /></p>
030-<ul><li>订单明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span>OrderId,<span>已采集数据中没有</span>)</li>
030+ <p>四、Allergo平台</p>
031-<li>运营明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>identifier</span>,</span><span>已采集数据中没有</span>)</li>
031+ <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>(每天18点~24点),当天执行过则不再执行</span></span></p>
032-<li>费用明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的时间的</span><span><span>Offer ID</span>,</span><span>已采集数据中没有</span>)</li>
032+ <p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
033-<li>后台余额:Cookie<span>有效时</span>,开始采集(<span>已采集数据中CrawlDate存在当天则不再采集</span>)</li>
033+ <ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
034-</ul><p><span></span><span> 4.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
034+ <li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
035-<p><br /></p>
035+ <li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
036-<p>五、Shopee平台</p>
036+ <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
037-<p><span> 5.1 数据采集时间调整</span><span></span><span>(每天每个账号每个单据执行一次采集程序)</span></p>
037+ </ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
038-<ul><li>账单明细:Cookie<span>有效时</span>,开始采集上月数据(需要采集的拨款时间,已采集数据中没有)</li>
038+ <p><br /></p>
039-<li>账单汇总:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的拨款时间,已采集数据中没有</span>)</li>
039+ <p>五、Shopee平台</p>
040-<li>广告费:Cookie<span>有效时</span>,开始采集上月数据(需要采集的月份时间不在已采集数据的开始日期、结束日期中出现)</li>
040+ <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序(每天18点~24点)<span>,当天执行过则不再执行</span></p>
041-<li>后台余额:Cookie<span>有效时</span>,开始采集(已采集数据中CrawlDate包含当天则不再采集)</li>
041+ <p><span> 5.2 采集去重逻辑</span></p>
042-<li>交易明细:Cookie<span>有效时</span>,开始采集上月数据(<span>需要采集的</span><span>时间中的</span>Order ID,在已采集数据中没有)</li>
042+ <ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
043-</ul><p><span> 5.2 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
043+ <li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
044+ <li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
045+ <li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
046+ <li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
047+ </ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
004-1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
004+ 1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
013-2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
013+ 2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
022-3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
022+ 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
028-3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
028+ 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
031-4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
031+ 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
040-5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行
040+ 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
004-<p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></p>
004+ <p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></p>
013-<p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
013+ <p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
022-<p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序(每天18点~24点),当天执行过则不再执行</span><span></span></span></p>
022+ <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
028-</ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
028+ </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
031-<p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>(每天18点~24点),当天执行过则不再执行</span></span></p>
031+ <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
040-<p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序(每天18点~24点)<span>,当天执行过则不再执行</span></p>
040+ <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
019-2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集
019+
020-
020+ 三、Lazada平台
021-三、Lazada平台
021+ 3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
022-3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
022+ 3.2采集去重逻辑
023-3.2采集去重逻辑
023+ 回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
024-回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
024+ 流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
025-流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
025+ 广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
026-广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
026+ 交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
027-交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
027+ 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
028-3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
028+
029-
029+ 四、Allergo平台
030-四、Allergo平台
030+ 4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
031-4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
031+ 4.2 采集去重逻辑
032-4.2 采集去重逻辑
032+ 订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
033-订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
033+ 运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
034-运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
034+ 费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
035-费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
035+ 后台余额:已采集数据中CrawlDate不包含当天则采集
036-后台余额:已采集数据中CrawlDate不包含当天则采集
036+ 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
037-4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
037+
038-
038+ 五、Shopee平台
039-五、Shopee平台
039+ 5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
040-5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
040+ 5.2 采集去重逻辑
041-5.2 采集去重逻辑
041+ 账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
042-账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
042+ 账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
043-账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
043+ 广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
044-广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
044+ 后台余额:已采集数据中CrawlDate不包含当天则采集
045-后台余额:已采集数据中CrawlDate不包含当天则采集
045+ 交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
046-交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
046+ 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
047-5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
019-</ul><span> 2.3 添加自动登录程序:每月1、2、3日自动登录账号进行数据采集</span>
019+ </ul><p><br /></p>
020-<p><br /></p>
020+ <p>三、Lazada平台</p>
021-<p>三、Lazada平台</p>
021+ <p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
022-<p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
022+ <p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
023-<p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
023+ <ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
024-<ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
024+ <li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
025-<li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
025+ <li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
026-<li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
026+ <li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
027-<li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
027+ </ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
028-</ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
028+ <p><br /></p>
029-<p><br /></p>
029+ <p>四、Allergo平台</p>
030-<p>四、Allergo平台</p>
030+ <p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
031-<p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
031+ <p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
032-<p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
032+ <ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
033-<ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
033+ <li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
034-<li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
034+ <li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
035-<li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
035+ <li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
036-<li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
036+ </ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
037-</ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
037+ <p><br /></p>
038-<p><br /></p>
038+ <p>五、Shopee平台</p>
039-<p>五、Shopee平台</p>
039+ <p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
040-<p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
040+ <p><span> 5.2 采集去重逻辑</span></p>
041-<p><span> 5.2 采集去重逻辑</span></p>
041+ <ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
042-<ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
042+ <li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
043-<li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
043+ <li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
044-<li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
044+ <li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
045-<li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
045+ <li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
046-<li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
046+ </ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
047-</ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
001-综合平台数据采集时间以及登录逻辑调整
001+ 综合平台浏览器访问模式调整
001-修改了 需求描述,区别为:综合平台数据采集时间以及登录逻辑调整
001+ 综合平台浏览器访问模式调整
001-需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力
001+ 需求背景:因为浏览器原因导致频繁遇到登录验证,通过调整浏览器访问模式解决此问题
003-一、WISH平台
003+ 一、Wish、Lazada、Allegro、Shopee:登录获取Cookie以及采集时使用正常浏览器(不使用无痕)
004-1.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
004+ 二、速卖通、Ebay、CD:登录获取Cookie以及采集时使用无痕浏览器
005-1.2采集去重逻辑
006-后台余额:已采集数据中CrawlDate不包含当天则采集
007-打款汇总:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
008-打款明细:采集上月至当前月所有,需要采集的时间范围内的付款成功状态的付款ID在已采集的数据中不存在则采集
009-交易明细:采集上月至当前月所有,需要采集的时间范围内的交易单号在已采集的数据中不存在则采集
010-1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
011-
012-二、CD平台
013-2.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
014-2.2采集去重逻辑
015-交易明细:采集上月数据,需要采集的时间范围内的Shop Id在已采集的数据中不存在则采集
016-打款明细:采集上月数据,需要采集的时间范围内的Tranfer date在已采集的数据中不存在则采集
017-后台余额:已采集数据中CrawlDate不包含当天则采集
018-FBC:采集上月数据,需要采集的时间范围内的Invoice number在已采集的数据中不存在则采集
019-
020-三、Lazada平台
021-3.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
022-3.2采集去重逻辑
023-回款账单:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
024-流水明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Statement Number在已采集的数据中不存在则采集
025-广告费:采集上月、本月数据,需要采集的站点的对应时间日期,在已采集的数据Date中不存在则采集
026-交易明细:采集上月、本月数据,需要采集的站点的对应时间范围内的Transaction Date在已采集的数据中不存在则采集
027-3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
028-
029-四、Allergo平台
030-4.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
031-4.2 采集去重逻辑
032-订单明细:采集上月数据,需要采集的时间范围内的OrderId在已采集的数据中不存在则采集
033-运营明细:采集上月数据,需要采集的时间范围内的identifier在已采集的数据中不存在则采集
034-费用明细:采集上月数据,需要采集的时间范围内的Offer ID在已采集的数据中不存在则采集
035-后台余额:已采集数据中CrawlDate不包含当天则采集
036-4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
037-
038-五、Shopee平台
039-5.1数据采集时间调整:Cookie有效时,每天每个账号每个单据执行一次采集程序,当天执行过则不再执行
040-5.2 采集去重逻辑
041-账单明细:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
042-账单汇总:采集上月数据,需要采集的数据轮次的拨款时间在已采集的数据中不存在则采集
043-广告费:采集上月数据,需要采集的月份日期不包含在已采集数据的开始日期、结束日期中则采集
044-后台余额:已采集数据中CrawlDate不包含当天则采集
045-交易明细:采集上月数据,需要采集的时间范围内的Order ID在已采集数据中不存在则采集
046-5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)
001-<p>需求背景:各个平台COOKIE时效太短,按照现有功能的采集频次太频繁,需要花费账号管理部很多人力</p>
001+ <p>需求背景:因为浏览器原因导致频繁遇到登录验证,通过调整浏览器访问模式解决此问题</p>
003-<p>一、WISH平台</p>
003+ <p>一、Wish、Lazada、Allegro、Shopee:登录获取Cookie以及采集时使用正常浏览器(不使用无痕)</p>
004-<p><span> 1.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></p>
004+ <p>二、速卖通、Ebay、CD:<span>登录获取Cookie以及采集时使用<span>无痕</span>浏览器</span></p>
005-<p><span> 1.2</span><span>采集去重逻辑</span></p>
006-<ul><li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
007-<li>打款汇总:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的付款成功状态的</span><span><span style="font-weight:700;"><span style="color:#E53333;">付款ID</span></span>在已采集的数据中不存在则采集</span><span></span></li>
008-<li>打款明细:采集上月至当前月所有,<span>需要采集的时间范围内的<span>付款成功状态的</span></span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>付款ID</span></span></span>在已采集的数据中不存在则采集</span><span></span></li>
009-<li>交易明细:采集上月至当前月所有<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>交易单号</span></span></span>在已采集的数据中不存在则采集</span></li>
010-</ul><p><span> 1.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
011-<p><br /></p>
012-<p>二、CD平台</p>
013-<p><span><span> 2.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
014-<p><span><span><span> 2.2</span><span>采集去重逻辑</span><br /></span></span></p>
015-<ul><li>交易明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Shop Id</span></span></span>在已采集的数据中不存在则采集</span></li>
016-<li>打款明细:采集上月数据<span>,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Tranfer date</span></span></span>在已采集的数据中不存在则采集</span></li>
017-<li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
018-<li>FBC:<span>采集上月数据,</span><span>需要采集的时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Invoice number</span></span></span>在已采集的数据中不存在则采集</span></li>
019-</ul><p><br /></p>
020-<p>三、Lazada平台</p>
021-<p><span><span> 3.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序,当天执行过则不再执行</span><span></span></span></p>
022-<p><span><span><span> 3.2</span><span>采集去重逻辑</span><br /></span></span></p>
023-<ul><li>回款账单:采集上月、本月数据<span>,需要采集的<span>站点的对应</span>时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Statement Number</span></span></span>在已采集的数据中不存在则采集</span></li>
024-<li>流水明细:采集上月、本月数据<span>,需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;">Statement Number</span></span>在已采集的数据中不存在则采集</span></li>
025-<li>广告费:采集上月、本月数据<span>,需要采集的站点的对应时间日期,</span><span>在已采集的数据<span style="color:#E53333;"><strong>Date</strong></span><span></span><strong><span style="color:#E53333;"></span></strong>中不存在则采集</span></li>
026-<li>交易明细:采集上月、本月数据,<span>需要采集的站点的对应时间范围内的</span><span><span style="font-weight:700;"><span style="color:#E53333;"><span>Transaction Date</span></span></span>在已采集的数据中不存在则采集</span></li>
027-</ul><span> 3.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span>
028-<p><br /></p>
029-<p>四、Allergo平台</p>
030-<p><span> 4.1</span><span>数据采集时间调整</span><span>:</span><span>Cookie</span><span>有效时</span><span>,</span><span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></span></p>
031-<p><span> 4.2 <span>采集去重逻辑</span></span><span></span></p>
032-<ul><li>订单明细:采集上月数据,需要采集的时间范围内的<span><strong><span style="color:#E53333;">OrderId</span></strong><span>在已采集的数据中不存在则采集</span></span></li>
033-<li>运营明细:采集上月数据<span>,需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>identifier</strong></span>在已采集的数据中不存在则采集</span></li>
034-<li>费用明细:采集上月数据,<span>需要采集的时间范围内的</span><span><span style="color:#E53333;"><strong>Offer ID</strong></span>在已采集的数据中不存在则采集</span></li>
035-<li>后台余额:<span>已采集数据中</span><span style="font-weight:700;"><span style="color:#E53333;">CrawlDate</span></span><span>不包含当天则采集</span></li>
036-</ul><p><span></span><span> 4.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
037-<p><br /></p>
038-<p>五、Shopee平台</p>
039-<p><span> 5.1</span>数据采集时间调整:<span>Cookie</span><span>有效时</span><span>,</span>每天每个账号每个单据执行一次采集程序<span>,当天执行过则不再执行</span></p>
040-<p><span> 5.2 采集去重逻辑</span></p>
041-<ul><li>账单明细:采集上月数据,<span>需要采集的数据轮次的<strong><span style="color:#E53333;">拨款时间</span></strong>在已采集的数据中不存在则采集</span></li>
042-<li>账单汇总:<span>采集上月数据,</span><span>需要采集的数据<span>轮次</span>的</span><span style="font-weight:700;color:#E53333;"><span style="color:#E53333;">拨款时间</span></span><span>在已采集的数据中不存在则采集</span></li>
043-<li>广告费:<span>采集上月数据,</span>需要采集的<strong><span style="color:#E53333;">月份日期</span></strong>不包含在已采集数据的开始日期、结束日期中则采集</li>
044-<li>后台余额:已采集数据中<strong><span style="color:#E53333;">CrawlDate</span></strong>不包含当天则采集</li>
045-<li>交易明细:采集上月数据,<span>需要采集的</span><span>时间范围内的</span><strong><span style="color:#E53333;">Order ID</span></strong>在已采集数据中不存在<span>则采集</span></li>
046-</ul><p><span> 5.3 浏览器访问模式调整为:登录获取Cookie时、以及采集时使用正常浏览器(不使用无痕)</span></p>
| 提报业务部门 | |
|---|---|
| 提报人员 | 智能工具 |
| 需求来源 | 需求缺陷优化 |
| 所属模块 | / |
| 所属计划 |
|
| 开发组 | |
| 受益业务部门 | |
| 验收人员 | |
| 业务价值 | 提升人效 |
| 每月价值量 | 10人天/月 |
| 每月节省人数 | 0 |
| 优先级 | P2 |
| 价值类型 | |
| 预计工时 | 28 |
| 成本 | |
| ROI | |
| 操作手册 | |
| 更新点 | |
| 是否高危 | 否 |
| 评分 | |
| 当前状态 | 已变更 |
| 所处阶段 | 研发完毕 |
| 关键词 | |
| 计划上线 | |
| 上线时间 | |
| 计划验收时间 | |
| 业务验收时间 | |
| 满意度 | |
| 价值验收 | |
| 满意度分值 | |
| 业务回填价值 | |
| 验收达成价值 | |
| 验收达成ROI |
| 由谁创建 | 梁贵荣 于 2022-05-10 14:25:58 |
|---|---|
| 指派给 | 梁贵荣 于 2022-06-13 13:43:27 |
| 由谁评审 | |
| 评审时间 | |
| 由谁关闭 | |
| 关闭原因 | |
| 最后修改 | 梁贵荣 于 2022-06-13 13:46:02 |
| 相关Bug |
|
|---|---|
| 相关用例 |
|
| 相关需求 |
|
| 细分需求 |
|