TASK#35068 美客多平台listing数据处理 / 技术研发中心 1月运维事项（2023年）

任务描述

任务背景：

(1)美客多listing 已增量同步近半个月数据，按照讨论决议，需针对一个月未更新的在线产品，执行一次指定同步数据

(2)美客多listing 还存在部分账号，系统在线数量小于后台在线数量，差异在2W5k左右,需要针对这部分账号全量一次数据，保证数据的完整获取

任务内容：

（1）针对系统在线数量比API在线数量少的账号，执行一次全量同步

涉及的账号

来源渠道ID
10833,11815,11894,12006,12018

（2）针对更新时间在一个月前的站点在线item数据，关联CBTID，推送到中间表执行一次同步，预计执行的地方站点数据200W+ （同当前系统与API的差异基本一致）

查询SQL，还需要关联CBT数据

SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-18 00:00:00' AND `Status`='active'

历史记录

2023-01-14 17:14:43, 由 刘瀚泽 创建。
2023-01-16 12:44:42, 由 刘瀚泽 编辑。
修改了 所属模块，旧值为 "0"，新值为 "1735"。
修改了 任务描述，区别为：
012- ~~<img src="/zentao/file-read-237853.png" alt="" />~~
012+
016- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
016+

012- ~~<img src="/zentao/file-read-237853.png" alt="" /> ~~
012+ <img src="{237853.png}" alt="" /> 
016- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
016+ <img src="{237854.png}" alt="" />
2023-01-17 09:26:40, 由 刘瀚泽 编辑。
修改了 任务描述，区别为：
004- ~~(3)美客多平台存在脏数据的情况，再解决脏数据问题后，需再同步一次异常数据~~
004+
005-
005+ 任务内容：
006- ~~任务内容：~~
006+ （1）针对系统在线数量比API在线数量少的账号，执行一次全量同步
007- ~~（1）删除重复的脏数据--（新增的脏数据通过需求进行过滤）~~
007+ 涉及的账号
008- -- 同一地方站点有相同的ProductId时，删除时间较早的记录delete from m_mercadolibre_listing_site where id in ( select id from (select a.id,a.SiteId,a.ProductId,a.LastModificationTime from m_mercadolibre_listing_site a inner join (select OrderSourceId,SiteId,ProductId,Min(LastModificationTime) Mintime from m_mercadolibre_listing_site where CustomerID=1GROUP BY OrderSourceId,SiteId,ProductIdHAVING COUNT(1)>1 ) b on a.OrderSourceId=b.OrderSourceId and a.SiteId=b.SiteId and a.ProductId=b.ProductId and a.LastModificationTime=b.Mintime) as tt)
008+ 来源渠道ID10833,11815,11894,11937,12006,12018,16066
009- ~~（2）针对系统在线数量比API在线数量少的账号，执行一次全量同步~~
009+
010- ~~涉及的账号~~
010+ （2）针对更新时间在一个月前的站点在线item数据，关联CBTID，推送到中间表执行一次同步，预计执行的地方站点数据200W+ （同当前系统与API的差异基本一致）
011- ~~来源渠道ID10833,11815,11894,11937,12006,12018,16066~~
011+ 查询SQL，还需要关联CBT数据
012- ~~<img src="/zentao/file-read-237853.png" alt="" />~~
012+ SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-14 00:00:00' AND `Status`='active'
013- （3）针对更新时间在一个月前的站点在线item数据，关联CBTID，推送到中间表执行一次同步，预计执行的地方站点数据200W+ （同当前系统与API的差异基本一致）
013+
014- ~~查询SQL，还需要关联CBT数据~~
015- ~~SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-14 00:00:00' AND `Status`='active'~~
016- ~~<img src="/zentao/file-read-237854.png" alt="" />~~

004- ~~(3)美客多平台存在脏数据的情况，再解决脏数据问题后，需再同步一次异常数据~~
004+ 
005- ~~ ~~
005+ 任务内容：
006- ~~任务内容：~~
006+ （1）针对系统在线数量比API在线数量少的账号，执行一次全量同步
007- ~~（1）删除重复的脏数据--（新增的脏数据通过需求进行过滤）~~
007+ 涉及的账号
008- -- 同一地方站点有相同的ProductId时，删除时间较早的记录 delete from m_mercadolibre_listing_site where id in ( select id from ( select a.id,a.SiteId,a.ProductId,a.LastModificationTime from m_mercadolibre_listing_site a inner join ( select OrderSourceId,SiteId,ProductId,Min(LastModificationTime) Mintime from m_mercadolibre_listing_site where CustomerID=1 GROUP BY OrderSourceId,SiteId,ProductId HAVING COUNT(1)>1 ) b on a.OrderSourceId=b.OrderSourceId and a.SiteId=b.SiteId and a.ProductId=b.ProductId and a.LastModificationTime=b.Mintime) as tt)
008+ 来源渠道ID 10833,11815,11894,11937,12006,12018,16066 
009- ~~（2）针对系统在线数量比API在线数量少的账号，执行一次全量同步~~
009+ <img src="{237853.png}" alt="" /> 
010- ~~涉及的账号~~
010+ （2）针对更新时间在一个月前的站点在线item数据，关联CBTID，推送到中间表执行一次同步，预计执行的地方站点数据200W+ （同当前系统与API的差异基本一致）
011- ~~来源渠道ID 10833,11815,11894,11937,12006,12018,16066 ~~
011+ 查询SQL，还需要关联CBT数据
012- ~~<img src="/zentao/file-read-237853.png" alt="" /> ~~
012+ SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-14 00:00:00' AND `Status`='active'
013- （3）针对更新时间在一个月前的站点在线item数据，关联CBTID，推送到中间表执行一次同步，预计执行的地方站点数据200W+ （同当前系统与API的差异基本一致）
013+ <img src="{237854.png}" alt="" />
014- ~~查询SQL，还需要关联CBT数据~~
015- SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-14 00:00:00' AND `Status`='active'
016- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
2023-01-17 11:41:14, 由 刘瀚泽 编辑。
修改了 任务描述，区别为：
008- ~~来源渠道ID10833,11815,11894,11937,12006,12018,16066~~
008+ 来源渠道ID10833,11815,11894,12006,12018
009- ~~<img src="/zentao/file-read-237853.png" alt="" />~~
009+
012- ~~SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-14 00:00:00' AND `Status`='active'~~
012+ SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-18 00:00:00' AND `Status`='active'
013- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
013+

008- ~~来源渠道ID 10833,11815,11894,11937,12006,12018,16066 ~~
008+ 来源渠道ID 10833,11815,11894,12006,12018 
009- ~~<img src="/zentao/file-read-237853.png" alt="" /> ~~
009+ <img src="{238216.png}" alt="" /> 
012- SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-14 00:00:00' AND `Status`='active'
012+ SELECT COUNT(1) FROM m_mercadolibre_listing_site WHERE CustomerId=1 AND LastModificationTime<='2022-12-18 00:00:00' AND `Status`='active'
013- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
013+ <img src="{237854.png}" alt="" />
2023-01-19 10:17:26, 由 shilin 完成。
修改了 总计消耗，旧值为 "0"，新值为 "2"。
修改了 指派给 ，旧值为 "chengwei"，新值为 "liuhanze"。
修改了 实际完成，旧值为 ""，新值为 "2023-01-19 10:15:41"。
修改了 任务状态，旧值为 "wait"，新值为 "done"。
修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2023-01-19 10:17:26"。
修改了 预计剩余，旧值为 "2"，新值为 "0"。
修改了 由谁完成，旧值为 ""，新值为 "shilin"。

任务一，已移除增量配置，将由全量配置覆盖。

任务二，已同步中间表，2173832 site 数据，去重后的 CBT 655350。
2023-01-20 15:38:18, 由 刘瀚泽 关闭。
修改了 任务状态，旧值为 "done"，新值为 "closed"。
修改了 指派给 ，旧值为 "liuhanze"，新值为 "closed"。
修改了 由谁关闭，旧值为 ""，新值为 "liuhanze"。
修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2023-01-20 15:38:18"。
修改了 关闭原因，旧值为 ""，新值为 "done"。
2023-01-30 17:16:57, 由 刘瀚泽 编辑。
修改了 任务描述，区别为：
009- ~~<img src="/zentao/file-read-238216.png" alt="" />~~
009+
013- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
013+

009- ~~<img src="/zentao/file-read-238216.png" alt="" /> ~~
009+ <img src="{238216.png}" alt="" /> 
013- ~~<img src="/zentao/file-read-237854.png" alt="" />~~
013+ <img src="{237854.png}" alt="" />

验证同步数据，存在问题

SELECT COUNT(1) FROM m_mercadolibre_pausecbtlisting WHERE PauseMessage<>'N/A'AND PauseResult=1

美客多CBTitem无站点自动下架服务，系统提示下架成功，但实际有错误，导致下架失败，这样也会导致数据差异

临时方案：SELECT COUNT(1) FROM m_mercadolibre_pausecbtlisting WHERE PauseMessage<>'N/A'AND PauseResult=1 改状态为0，再重新执行一遍！

优化方案：状态标记存在错误，针对平台有返回错误的，正确标记状态为PauseResult=2

基本信息
任务的一生

所属迭代	技术研发中心 1月运维事项（2023年）
所属模块	/
相关需求	暂无
指派给	Closed 于 2023-01-20 15:38:18
任务类型	运维
任务标签	初始
开发组	有品开发组
任务状态	已关闭
进度	100%
优先级	P1
关键词
抄送给

由谁创建	刘瀚泽于 2023-01-14 17:14:42
由谁完成	shilin 于 2023-01-19 10:15:41
由谁取消	暂无
由谁关闭	刘瀚泽于 2023-01-20 15:38:18
关闭原因	已完成
最后编辑	刘瀚泽于 2023-01-30 17:16:57

团队	最初预计	总计消耗	预计剩余

工时信息

最初预计	2工时
总计消耗	2工时
预计剩余	0工时
预计开始	0000-00-00
实际开始	2023-01-19
截止日期	0000-00-00