任务描述

处理方案如下:


0、预估消费工时:16H
1、背景:模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能
2、统计现有数据量(2H)
a.模板主表总量、待删除量、优化后预估数量
b.属性表总量、待删除量、优化后预估数量
b.变体主题表总量、待删除量、优化后预估数量
3、具体思路。(12H)
a.处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload
b.主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)>='2023-01-01 00:00:00')
c.主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条
d.属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。
e.变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。
f.程序优化:
①hp1.GET().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)
②已存在的模板更新UpdateTime
③TemplatePath、LastTemplatePath订正
④移除日志,基本没有诊断的需要,hp1.GET().Add(log);
⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET().AddModelList(attributeList);
4、安全措施:
a.删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月
b.模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月
c.删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月
d.切换前,一定要告知测试部、和系统部
5、关系重大,谨慎调试(2H)
a.模板下载功能
b.人工导入模板功能
c.正常刊登功能
历史记录  
  1. 2023-02-05 17:05:07, 由 王翔宇 创建。
  2. 2023-02-05 20:30:27, 由 王翔宇 完成。
    修改了 总计消耗,旧值为 "0",新值为 "5"。
    修改了 实际完成,旧值为 "",新值为 "2023-02-05 20:30:25"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2023-02-05 20:30:27"。
    修改了 预计剩余,旧值为 "5",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "wangxiangyu"。
  3. 2023-10-31 14:25:53, 由 周杰 关闭。
    修改了 任务状态,旧值为 "done",新值为 "closed"。
    修改了 指派给 ,旧值为 "wangxiangyu",新值为 "closed"。
    修改了 由谁关闭,旧值为 "",新值为 "zhoujie"。
    修改了 关闭时间,旧值为 "0000-00-00 00:00:00",新值为 "2023-10-31 14:25:53"。
    修改了 关闭原因,旧值为 "",新值为 "done"。
所属迭代 技术研发中心 2月运维事项(2023年)
所属模块 /
相关需求 暂无
指派给 Closed 于 2023-10-31 14:25:53
任务类型 后端
任务标签 初始
开发组 运营开发组
任务状态 已关闭
进度 100%
优先级 P2
关键词
抄送给
由谁创建 王翔宇 于 2023-02-05 17:05:07
由谁完成 王翔宇 于 2023-02-05 20:30:25
由谁取消 暂无
由谁关闭 周杰 于 2023-10-31 14:25:53
关闭原因 已完成
最后编辑 周杰 于 2023-10-31 14:25:53
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 5工时
总计消耗 5工时
预计剩余 0工时
预计开始 0000-00-00
实际开始 2023-02-05
截止日期 2023-02-05