任务描述


需求背景:模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能

需求风险:影响AmazonListing刊登
目标用户:亚马逊平台运营中心
影响页面:需要类目模板的数据的页面或功能

详细描述: 

模板主表(E_Amazon_ShelfTemplate)和模板属性表(E_Amazon_ShelfTemplateAttributes)、变体主题表(RB_Amazon_VariationThemeInfo)垃圾数据清理

一、统计现有数据量

模板主表:总量4381640、待删除量3652065 、优化后预估量 729575
属性表:总量 724481618、待删除量589118994、优化后预估量 135362624
变体主题表:总量 1383308、待删除937657 、优化后预估量445651

二、具体处理步骤
a、处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload
b、主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)>='2023-01-01 00:00:00')
c、主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条
d、属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。
e、变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。
f、程序优化:
①hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend>().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)
②已存在的模板更新UpdateTime
③TemplatePath、LastTemplatePath订正
④移除日志,基本没有诊断的需要,hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_LogExtend>().Add(log);
⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET<RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2>().AddModelList(attributeList);
三、安全措施(重要)
a、删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月
b、模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月
c、删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月
d、切换前,一定要告知测试部、和系统部
四、关系重大,处理时需要谨慎调试下面功能是否正常
a、模板下载功能
b、人工导入模板功能
c、正常刊登功能

需求描述

需求背景:模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能

需求风险:影响AmazonListing刊登
目标用户:亚马逊平台运营中心
影响页面:需要类目模板的数据的页面或功能

详细描述: 

模板主表(E_Amazon_ShelfTemplate)和模板属性表(E_Amazon_ShelfTemplateAttributes)、变体主题表(RB_Amazon_VariationThemeInfo)垃圾数据清理

一、统计现有数据量

模板主表:总量4381640、待删除量3652065 、优化后预估量 729575
属性表:总量 724481618、待删除量589118994、优化后预估量 135362624
变体主题表:总量 1383308、待删除937657 、优化后预估量445651

二、具体处理步骤
a、处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload
b、主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)>='2023-01-01 00:00:00')
c、主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条
d、属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。
e、变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。
f、程序优化:
①hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend>().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)
②已存在的模板更新UpdateTime
③TemplatePath、LastTemplatePath订正
④移除日志,基本没有诊断的需要,hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_LogExtend>().Add(log);
⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET<RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2>().AddModelList(attributeList);

三、安全措施(重要)
a、删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月
b、模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月
c、删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月
d、切换前,一定要告知测试部、和系统部

四、关系重大,处理时需要谨慎调试下面功能是否正常
a、模板下载功能
b、人工导入模板功能
c、正常刊登功能

验收标准
暂无
历史记录  
  1. 2023-02-04 17:19:17, 由 王翔宇 创建。
  2. 2023-02-05 16:55:59, 由 彭康 完成。
    修改了 总计消耗,旧值为 "0",新值为 "16"。
    修改了 实际完成,旧值为 "",新值为 "2023-02-05 16:54:14"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2023-02-05 16:55:59"。
    修改了 预计剩余,旧值为 "16",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "pengkang"。

  3. 2023-02-10 09:44:38, 由 王翔宇 编辑。
    修改了 相关需求,旧值为 "0",新值为 "13443"。
    修改了 需求版本,旧值为 "1",新值为 "2"。
    修改了 任务描述,区别为:
    001-
    001+
    002- 需求背景:模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能
    002+ 需求背景:模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能
    003- 需求风险:影响AmazonListing刊登目标用户:亚马逊平台运营中心影响页面:需要类目模板的数据的页面或功能
    003+ 需求风险:影响AmazonListing刊登目标用户:亚马逊平台运营中心影响页面:需要类目模板的数据的页面或功能
    004- 详细描述:
    004+ 详细描述:
    005- 模板主表(E_Amazon_ShelfTemplate)和模板属性表(E_Amazon_ShelfTemplateAttributes)、变体主题表(RB_Amazon_VariationThemeInfo)垃圾数据清理
    005+ 模板主表(E_Amazon_ShelfTemplate)和模板属性表(E_Amazon_ShelfTemplateAttributes)、变体主题表(RB_Amazon_VariationThemeInfo)垃圾数据清理
    006- 一、统计现有数据量
    006+ 一、统计现有数据量
    007- 模板主表:总量4381640、待删除量3652065 、优化后预估量 729575属性表:总量 724481618、待删除量589118994、优化后预估量 135362624变体主题表:总量 1383308、待删除937657 、优化后预估量445651
    007+ 模板主表:总量4381640、待删除量3652065 、优化后预估量 729575属性表:总量 724481618、待删除量589118994、优化后预估量 135362624变体主题表:总量 1383308、待删除937657 、优化后预估量445651
    008- 二、具体处理步骤a、处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownloadb、主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)&gt;='2023-01-01 00:00:00')c、主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条d、属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。e、变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。f、程序优化:①hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend&gt;().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)②已存在的模板更新UpdateTime③TemplatePath、LastTemplatePath订正④移除日志,基本没有诊断的需要,hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_LogExtend&gt;().Add(log);⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET&lt;RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2&gt;().AddModelList(attributeList);三、安全措施(重要)a、删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月b、模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月c、删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月d、切换前,一定要告知测试部、和系统部四、关系重大,处理时需要谨慎调试下面功能是否正常a、模板下载功能b、人工导入模板功能c、正常刊登功能
    008+ 二、具体处理步骤a、处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownloadb、主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)&gt;='2023-01-01 00:00:00')c、主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条d、属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。e、变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。f、程序优化:①hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend&gt;().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)②已存在的模板更新UpdateTime③TemplatePath、LastTemplatePath订正④移除日志,基本没有诊断的需要,hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_LogExtend&gt;().Add(log);⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET&lt;RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2&gt;().AddModelList(attributeList);三、安全措施(重要)a、删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月b、模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月c、删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月d、切换前,一定要告知测试部、和系统部四、关系重大,处理时需要谨慎调试下面功能是否正常a、模板下载功能b、人工导入模板功能c、正常刊登功能
    001- <p style="font-size:14px;background-color:#FFFFFF;">
    001+ <p style="font-size:14px;background-color:#FFFFFF;"><br /></p>
    002- </p><p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">需求背景:</span>模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能</p>
    002+ <p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">需求背景:</span>模板属性表数量巨大,每次全量更新都会新增许多垃圾数据,影响读取、更新性能</p>
    003- <p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">需求风险:</span>影响AmazonListing刊登<br /><span style="font-weight:700;">目标用户:</span>亚马逊平台运营中心<br /><span style="font-weight:700;">影响页面:</span>需要类目模板的数据的页面或功能<span style="font-size:13px;"></span></p>
    003+ <p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">需求风险:</span>影响AmazonListing刊登<br /><span style="font-weight:700;">目标用户:</span>亚马逊平台运营中心<br /><span style="font-weight:700;">影响页面:</span>需要类目模板的数据的页面或功能<span style="font-size:13px;"></span></p>
    004- <p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">详细描述:</span></p>
    004+ <p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">详细描述:</span></p>
    005- <p style="font-size:14px;background-color:#FFFFFF;">模板主表(E_Amazon_ShelfTemplate)和模板属性表(E_Amazon_ShelfTemplateAttributes)、变体主题表(RB_Amazon_VariationThemeInfo)垃圾数据清理</p>
    005+ <p style="font-size:14px;background-color:#FFFFFF;">模板主表(E_Amazon_ShelfTemplate)和模板属性表(E_Amazon_ShelfTemplateAttributes)、变体主题表(RB_Amazon_VariationThemeInfo)垃圾数据清理</p>
    006- <p style="font-size:14px;background-color:#FFFFFF;">一、统计现有数据量</p>
    006+ <p style="font-size:14px;background-color:#FFFFFF;">一、统计现有数据量</p>
    007- <p style="font-size:14px;background-color:#FFFFFF;">模板主表:总量4381640、待删除量3652065 、优化后预估量 729575<br />属性表:总量 724481618、待删除量589118994、优化后预估量 135362624<br />变体主题表:总量 1383308、待删除937657 、优化后预估量445651</p>
    007+ <p style="font-size:14px;background-color:#FFFFFF;">模板主表:总量4381640、待删除量3652065 、优化后预估量 729575<br />属性表:总量 724481618、待删除量589118994、优化后预估量 135362624<br />变体主题表:总量 1383308、待删除937657 、优化后预估量445651</p>
    008- <p style="font-size:14px;background-color:#FFFFFF;">二、具体处理步骤<br />a、处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload<br />b、主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)&gt;='2023-01-01 00:00:00')<br />c、主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条<br />d、属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。<br />e、变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。<br />f、程序优化:<br />①hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend&gt;().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)<br />②已存在的模板更新UpdateTime<br />③TemplatePath、LastTemplatePath订正<br />④移除日志,基本没有诊断的需要,hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_LogExtend&gt;().Add(log);<br />⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET&lt;RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2&gt;().AddModelList(attributeList);<br /><span style="background-color:#000000;color:#FFFFFF;">三、</span><span style="font-weight:700;"><span style="color:#FFFFFF;background-color:#000000;">安全措施(重要)</span></span><br /><span style="color:#E53333;">a、删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月</span><br /><span style="color:#E53333;">b、模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月</span><br /><span style="color:#E53333;">c、删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月</span><br /><span style="color:#E53333;">d、切换前,一定要告知测试部、和系统部</span><br /><span style="background-color:#000000;color:#FFFFFF;"><span style="font-weight:700;">四、关系重大,</span></span><span style="background-color:#000000;color:#FFFFFF;"><span style="font-weight:700;">处理时需要</span></span><span style="background-color:#000000;color:#FFFFFF;"><span style="font-weight:700;">谨慎调试下面功能是否正常</span></span><br />a、模板下载功能<br />b、人工导入模板功能<br />c、正常刊登功能</p>
    008+ <p style="font-size:14px;background-color:#FFFFFF;">二、具体处理步骤<br />a、处理数据前,暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload<br />b、主表只保留2023年的数据。由于类目改成从采集平台同步后,每次都是全量更新,所以模板也都是全量更新。如果模板总是不变,表示数据是无效的旧数据,即便大宽表有TemplateID引用也没用。(时间范围取值逻辑:如果UpdateTime有值,则用UpdateTime,如果为null则取AddTime,不能直接取AddTime,参考用法: isnull(updateTime,Addtime)&gt;='2023-01-01 00:00:00')<br />c、主表去重,主表存在很多相同browsePathByID,但是模板ID不同的数据,只保留最新一条<br />d、属性表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。<br />e、变体主题表只保留有效数据,templateID能与主表ID关联上的,视为有效数据。<br />f、程序优化:<br />①hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend&gt;().GetAmazonBrowseTreeNodeV2(existModel.ID)(可从上下文移除)<br />②已存在的模板更新UpdateTime<br />③TemplatePath、LastTemplatePath订正<br />④移除日志,基本没有诊断的需要,hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_LogExtend&gt;().Add(log);<br />⑤写入模板属性时,增加超时重试机制,重试2次 hp.GET&lt;RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2&gt;().AddModelList(attributeList);<br /><span style="background-color:#000000;color:#FFFFFF;">三、</span><span style="font-weight:700;"><span style="color:#FFFFFF;background-color:#000000;">安全措施(重要)</span></span><br /><span style="color:#E53333;">a、删除主表前,备份主表E_Amazon_ShelfTemplate,保留1个月</span><br /><span style="color:#E53333;">b、模板属性表不直接删除,把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2,新表完成后把表名改成正式表,旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201,保留1个月</span><br /><span style="color:#E53333;">c、删除变体主题表前,备份主表RB_Amazon_VariationThemeInfo,保留1个月</span><br /><span style="color:#E53333;">d、切换前,一定要告知测试部、和系统部</span><br /><span style="background-color:#000000;color:#FFFFFF;"><span style="font-weight:700;">四、关系重大,</span></span><span style="background-color:#000000;color:#FFFFFF;"><span style="font-weight:700;">处理时需要</span></span><span style="background-color:#000000;color:#FFFFFF;"><span style="font-weight:700;">谨慎调试下面功能是否正常</span></span><br />a、模板下载功能<br />b、人工导入模板功能<br />c、正常刊登功能</p>
  4. 2023-10-31 14:25:15, 由 周杰 关闭。
    修改了 任务状态,旧值为 "done",新值为 "closed"。
    修改了 指派给 ,旧值为 "pengkang",新值为 "closed"。
    修改了 由谁关闭,旧值为 "",新值为 "zhoujie"。
    修改了 关闭时间,旧值为 "0000-00-00 00:00:00",新值为 "2023-10-31 14:25:15"。
    修改了 关闭原因,旧值为 "",新值为 "done"。
所属迭代 技术研发中心 2月分支版本(2023年)
所属模块 /
相关需求 模板主表、属性表、变体主题表垃圾数据清理
指派给 Closed 于 2023-10-31 14:25:15
任务类型 后端
任务标签 初始
开发组 运营开发组
任务状态 已关闭
进度 100%
优先级 P2
关键词
抄送给
由谁创建 王翔宇 于 2023-02-04 17:19:17
由谁完成 彭康 于 2023-02-05 16:54:14
由谁取消 暂无
由谁关闭 周杰 于 2023-10-31 14:25:15
关闭原因 已完成
最后编辑 周杰 于 2023-10-31 14:25:15
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 16工时
总计消耗 16工时
预计剩余 0工时
预计开始 0000-00-00
实际开始 2023-02-05
截止日期 2023-02-05