001- 性能优化需求： 模板主表和模板属性表、变体主题表垃圾数据清理0、预估消费工时：16H1、背景：模板属性表数量巨大，每次全量更新都会新增许多垃圾数据，影响读取、更新性能2、统计现有数据量（2H）a.模板主表总量、待删除量、优化后预估数量b.属性表总量、待删除量、优化后预估数量b.变体主题表总量、待删除量、优化后预估数量3、具体思路。（12H）a.处理数据前，暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownloadb.主表只保留2023年的数据。由于类目改成从采集平台同步后，每次都是全量更新，所以模板也都是全量更新。如果模板总是不变，表示数据是无效的旧数据，即便大宽表有TemplateID引用也没用。（时间范围取值逻辑：如果UpdateTime有值，则用UpdateTime，如果为null则取AddTime，不能直接取AddTime，参考用法: isnull(updateTime,Addtime)>='2023-01-01 00:00:00'）c.主表去重，主表存在很多相同browsePathByID，但是模板ID不同的数据，只保留最新一条d.属性表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。e.变体主题表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。f.程序优化：①hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend>().GetAmazonBrowseTreeNodeV2(existModel.ID)（可从上下文移除）②已存在的模板更新UpdateTime③TemplatePath、LastTemplatePath订正④移除日志，基本没有诊断的需要，hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_LogExtend>().Add(log);⑤写入模板属性时，增加超时重试机制，重试2次 hp.GET<RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2>().AddModelList(attributeList);
001+
002-
002+ 需求背景：模板属性表数量巨大，每次全量更新都会新增许多垃圾数据，影响读取、更新性能
003+ 需求风险：影响AmazonListing刊登目标用户：亚马逊平台运营中心影响页面：需要类目模板的数据的页面或功能
004+
005+ 详细描述：
006+ 模板主表（E_Amazon_ShelfTemplate）和模板属性表（E_Amazon_ShelfTemplateAttributes）、变体主题表（RB_Amazon_VariationThemeInfo）垃圾数据清理
007+ 一、统计现有数据量
008+ 模板主表：总量4381640、待删除量3652065 、优化后预估量 729575属性表：总量 724481618、待删除量589118994、优化后预估量 135362624变体主题表：总量 1383308、待删除937657 、优化后预估量445651
009+ 二、具体处理步骤a、处理数据前，暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownloadb、主表只保留2023年的数据。由于类目改成从采集平台同步后，每次都是全量更新，所以模板也都是全量更新。如果模板总是不变，表示数据是无效的旧数据，即便大宽表有TemplateID引用也没用。（时间范围取值逻辑：如果UpdateTime有值，则用UpdateTime，如果为null则取AddTime，不能直接取AddTime，参考用法: isnull(updateTime,Addtime)>='2023-01-01 00:00:00'）c、主表去重，主表存在很多相同browsePathByID，但是模板ID不同的数据，只保留最新一条d、属性表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。e、变体主题表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。f、程序优化：①hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend>().GetAmazonBrowseTreeNodeV2(existModel.ID)（可从上下文移除）②已存在的模板更新UpdateTime③TemplatePath、LastTemplatePath订正④移除日志，基本没有诊断的需要，hp1.GET<RB.DALExtend.E_Amazon_BrowseTree_LogExtend>().Add(log);⑤写入模板属性时，增加超时重试机制，重试2次 hp.GET<RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2>().AddModelList(attributeList);三、安全措施（重要）a、删除主表前，备份主表E_Amazon_ShelfTemplate，保留1个月b、模板属性表不直接删除，把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2，新表完成后把表名改成正式表，旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201，保留1个月c、删除变体主题表前，备份主表RB_Amazon_VariationThemeInfo，保留1个月d、切换前，一定要告知测试部、和系统部四、关系重大，处理时需要谨慎调试下面功能是否正常a、模板下载功能b、人工导入模板功能c、正常刊登功能
010+

001- <p>性能优化需求： 模板主表和模板属性表、变体主题表垃圾数据清理<br /><br />0、预估消费工时：16H<br />1、背景：模板属性表数量巨大，每次全量更新都会新增许多垃圾数据，影响读取、更新性能<br />2、统计现有数据量（2H）<br />a.模板主表总量、待删除量、优化后预估数量<br />b.属性表总量、待删除量、优化后预估数量<br />b.变体主题表总量、待删除量、优化后预估数量<br /><br />3、具体思路。（12H）<br />a.处理数据前，暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload<br />b.主表只保留2023年的数据。由于类目改成从采集平台同步后，每次都是全量更新，所以模板也都是全量更新。如果模板总是不变，表示数据是无效的旧数据，即便大宽表有TemplateID引用也没用。（时间范围取值逻辑：如果UpdateTime有值，则用UpdateTime，如果为null则取AddTime，不能直接取AddTime，参考用法: isnull(updateTime,Addtime)&gt;='2023-01-01 00:00:00'）<br />c.主表去重，主表存在很多相同browsePathByID，但是模板ID不同的数据，只保留最新一条<br />d.属性表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。<br />e.变体主题表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。<br />f.程序优化：<br />①hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend&gt;().GetAmazonBrowseTreeNodeV2(existModel.ID)（可从上下文移除）<br />②已存在的模板更新UpdateTime<br />③TemplatePath、LastTemplatePath订正<br />④移除日志，基本没有诊断的需要，hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_LogExtend&gt;().Add(log);<br />⑤写入模板属性时，增加超时重试机制，重试2次 hp.GET&lt;RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2&gt;().AddModelList(attributeList);<br /></p>
001+ <p>
002- <p class="MsoNormal"><span></span><span></span></p>
002+ </p><p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">需求背景：</span><span>模板属性表数量巨大，每次全量更新都会新增许多垃圾数据，影响读取、更新性能</span></p>
003+ <p style="font-size:14px;background-color:#FFFFFF;"><span style="font-weight:700;">需求风险：</span>影响AmazonListing刊登<br /><span style="font-weight:700;">目标用户：</span>亚马逊平台运营中心<br /><span style="font-weight:700;">影响页面：</span>需要类目模板的数据的页面或功能<span style="font-size:13px;"></span></p>
004+
005+ <p><strong>详细描述：</strong></p>
006+ <p>模板主表（E_Amazon_ShelfTemplate）和模板属性表（E_Amazon_ShelfTemplateAttributes）、变体主题表（RB_Amazon_VariationThemeInfo）垃圾数据清理<br /></p>
007+ <p>一、统计现有数据量</p>
008+ <p>模板主表：总量4381640、待删除量3652065 、优化后预估量 729575<br />属性表：总量 724481618、待删除量589118994、优化后预估量 135362624<br />变体主题表：总量 1383308、待删除937657 、优化后预估量445651<br /></p>
009+ <p>二、具体处理步骤<br />a、处理数据前，暂停模板下载服务Task_Amazon_BrowseTreeTemplateDownload<br />b、主表只保留2023年的数据。由于类目改成从采集平台同步后，每次都是全量更新，所以模板也都是全量更新。如果模板总是不变，表示数据是无效的旧数据，即便大宽表有TemplateID引用也没用。（时间范围取值逻辑：如果UpdateTime有值，则用UpdateTime，如果为null则取AddTime，不能直接取AddTime，参考用法: isnull(updateTime,Addtime)&gt;='2023-01-01 00:00:00'）<br />c、主表去重，主表存在很多相同browsePathByID，但是模板ID不同的数据，只保留最新一条<br />d、属性表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。<br />e、变体主题表只保留有效数据，templateID能与主表ID关联上的，视为有效数据。<br />f、程序优化：<br />①hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_Node_V2Extend&gt;().GetAmazonBrowseTreeNodeV2(existModel.ID)（可从上下文移除）<br />②已存在的模板更新UpdateTime<br />③TemplatePath、LastTemplatePath订正<br />④移除日志，基本没有诊断的需要，hp1.GET&lt;RB.DALExtend.E_Amazon_BrowseTree_LogExtend&gt;().Add(log);<br />⑤写入模板属性时，增加超时重试机制，重试2次 hp.GET&lt;RB.DALExtendV2.Generate.E_Amazon_ShelfTemplateAttributesExtendV2&gt;().AddModelList(attributeList);<br /><br /><span style="background-color:#000000;color:#FFFFFF;">三、</span><strong><span style="color:#FFFFFF;background-color:#000000;">安全措施（重要）</span></strong><br /><span style="color:#E53333;">a、删除主表前，备份主表E_Amazon_ShelfTemplate，保留1个月</span><br /><span style="color:#E53333;">b、模板属性表不直接删除，把有效数据导入到一个新表E_Amazon_ShelfTemplateAttributes_V2，新表完成后把表名改成正式表，旧表作为备份变更为E_Amazon_ShelfTemplateAttributes_Bak20230201，保留1个月</span><br /><span style="color:#E53333;">c、删除变体主题表前，备份主表RB_Amazon_VariationThemeInfo，保留1个月</span><br /><span style="color:#E53333;">d、切换前，一定要告知测试部、和系统部</span><br /><br /><span style="background-color:#000000;color:#FFFFFF;"><strong>四、关系重大，</strong></span><span style="background-color:#000000;color:#FFFFFF;"><strong>处理时需要</strong></span><span style="background-color:#000000;color:#FFFFFF;"><strong>谨慎调试下面功能是否正常</strong></span><br />a、模板下载功能<br />b、人工导入模板功能<br />c、正常刊登功能</p>
010+ <p class="MsoNormal"><span></span><span></span></p>