任务描述


大概完成事项梳理(从10月10日~10月17日,共计7天,工时损耗51H)


一、获取SKU默认分类慢日志专项排查,发现是由于Redis调用频次过高,导致流量限制。跟系统部沟通解决方案(5H)
1、方案一,Redis直接升配置,从500M升级为1500M,费用从190元提升为1500元
2、方案二,Redis从单机升级为集群,带宽直接升级为2300M,费用从190元提升为260元,但是公司目前没有项目用过集群,存在一定风险。


二、其他慢日志排查(10H)
1、通过高频调用的维度、耗时最长的维度,拉取所有日志,排查日志所在代码功能,分析最损耗时间的4个模块。
1-1、资料组装,生成描述,合并过滤,重试次数:1,耗时:122(敏感词相关,组装标题亮点)
1-2、多套资料组装耗时,组装标题关键词亮点描述,耗时32(敏感词相关,循环所有SKU)
1-3、英语站重新组装多套资料,耗时60(组装资料并过滤敏感词 需求33868,细节流程多,得逐步调试分析)
1-4、多套资料耗时,获取查重资料(V1上架,表格刊登上架,新队列上架)(耗时20秒,根据站点、sku获取历史上架标题、关键词、亮点、描述)(连续调试无法复现,5秒以上的都是10个SKU一起查的)




三、通过对代码的分析,基本锁定敏感词优化方向,思考方案(5H)
优先针对敏感词进行优化,从对上面日志的分析,基本上目前最重要的卡点是敏感词查询效率,如果能解决这个问题,可以有较大的提升。
1、敏感词接口,本身性能需要优化(目前手动测试,5次请求,2次300毫秒,2次1~2秒,1次4秒),少军是否有方案。
2、调用敏感词的地方要优化。可参考人工刊登的思路,把原来 标题、5亮点、描述、关键词8个分开请求的,合并成一次请求,按原来平均一次2秒来算,2*8=16秒一个周期,合并后即便是按4秒来算,都提升了四分之三


四、对代码环境不了解,对代码全局研究熟悉,时间损耗(8H)


五、具体代码编写,共调整三个模块,及以下工作(21H)
1、AutoPublishService.OrderSourceAmazonAutoPublish
2、AmazonAutoPublishTranslateService.GetTranslateResultAsync
3、AutoPublishExtendService.GetMultiDatasNewAsync
4、通过代码评审会评审,把合并敏感词过滤功能,改造为公共方法:FilterSensitiveWordsHelper.ProcessFilteringWords
5、针对每一个场景在堡垒机进行调试。


六、针对Redis集群进行测试,单线程测试通过(2H)


需求描述

需求背景:提升刊登效率


需求实现:

1、切换Redis为 集群模式 解决Redis宽度高 成本高 的问题
2、合并调用过滤敏感词接口 减少敏感词接口调用次数
3、梳理逻辑,减少数据库查询次数

验收标准
暂无
历史记录  
  1. 2024-10-16 11:17:45, 由 罗友军 创建。
  2. 2024-10-18 15:49:02, 由 王翔宇 编辑。
    修改了 任务描述,区别为:
    001-
    001+
    002+ 大概完成事项梳理(从10月10日~10月17日,共计7天,工时损耗51H)
    003+
    004+ 一、获取SKU默认分类慢日志专项排查,发现是由于Redis调用频次过高,导致流量限制。跟系统部沟通解决方案(5H)
    005+ 1、方案一,Redis直接升配置,从500M升级为1500M,费用从190元提升为1500元
    006+ 2、方案二,Redis从单机升级为集群,带宽直接升级为2300M,费用从190元提升为260元,但是公司目前没有项目用过集群,存在一定风险。
    007+
    008+
    009+ 二、其他慢日志排查(10H)
    010+ 1、通过高频调用的维度、耗时最长的维度,拉取所有日志,排查日志所在代码功能,分析最损耗时间的4个模块。
    011+ 1-1、资料组装,生成描述,合并过滤,重试次数:1,耗时:122(敏感词相关,组装标题亮点)
    012+ 1-2、多套资料组装耗时,组装标题关键词亮点描述,耗时32(敏感词相关,循环所有SKU)
    013+ 1-3、英语站重新组装多套资料,耗时60(组装资料并过滤敏感词 需求33868,细节流程多,得逐步调试分析)
    014+ 1-4、多套资料耗时,获取查重资料(V1上架,表格刊登上架,新队列上架)(耗时20秒,根据站点、sku获取历史上架标题、关键词、亮点、描述)(连续调试无法复现,5秒以上的都是10个SKU一起查的)
    015+
    016+
    017+
    018+
    019+
    020+ 三、通过对代码的分析,基本锁定敏感词优化方向,思考方案(5H)
    021+ 优先针对敏感词进行优化,从对上面日志的分析,基本上目前最重要的卡点是敏感词查询效率,如果能解决这个问题,可以有较大的提升。
    022+ 1、敏感词接口,本身性能需要优化(目前手动测试,5次请求,2次300毫秒,2次1~2秒,1次4秒),少军是否有方案。
    023+ 2、调用敏感词的地方要优化。可参考人工刊登的思路,把原来 标题、5亮点、描述、关键词8个分开请求的,合并成一次请求,按原来平均一次2秒来算,2*8=16秒一个周期,合并后即便是按4秒来算,都提升了四分之三
    024+
    025+
    026+ 四、对代码环境不了解,对代码全局研究熟悉,时间损耗(8H)
    027+
    028+ 五、具体代码编写,共调整三个模块,及以下工作(21H)
    029+ 1、AutoPublishService.OrderSourceAmazonAutoPublish
    030+ 2、AmazonAutoPublishTranslateService.GetTranslateResultAsync
    031+ 3、AutoPublishExtendService.GetMultiDatasNewAsync
    032+ 4、通过代码评审会评审,把合并敏感词过滤功能,改造为公共方法:FilterSensitiveWordsHelper.ProcessFilteringWords
    033+ 5、针对每一个场景在堡垒机进行调试。
    034+
    035+ 六、针对Redis集群进行测试,单线程测试通过(2H)
    036+
    001- <p><br /></p>
    001+ <p><br /></p>
    002+ <div style="font-size:14px;"><strong><u>大概完成事项梳理(从10月10日~10月17日,共计7天,工时损耗51H)</u></strong></div>
    003+ <p><br /></p>
    004+ <div style="font-size:14px;">一、获取SKU默认分类慢日志专项排查,发现是由于Redis调用频次过高,导致流量限制。跟系统部沟通解决方案(5H)</div>
    005+ <div style="font-size:14px;">1、方案一,Redis直接升配置,从500M升级为1500M,费用从190元提升为1500元</div>
    006+ <div style="font-size:14px;">2、方案二,Redis从单机升级为集群,带宽直接升级为2300M,费用从190元提升为260元,但是公司目前没有项目用过集群,存在一定风险。</div>
    007+ <div style="font-size:14px;"></div>
    008+ <p><br /></p>
    009+ <div style="font-size:14px;">二、其他慢日志排查(10H)</div>
    010+ <div style="font-size:14px;">1、通过高频调用的维度、耗时最长的维度,拉取所有日志,排查日志所在代码功能,分析最损耗时间的4个模块。</div>
    011+ <div style="font-size:14px;">1-1、资料组装,生成描述,合并过滤,重试次数:1,耗时:122(敏感词相关,组装标题亮点)</div>
    012+ <div style="font-size:14px;">1-2、多套资料组装耗时,组装标题关键词亮点描述,耗时32(敏感词相关,循环所有SKU)</div>
    013+ <div style="font-size:14px;">1-3、英语站重新组装多套资料,耗时60(组装资料并过滤敏感词 需求33868,细节流程多,得逐步调试分析)</div>
    014+ <div style="font-size:14px;">1-4、多套资料耗时,获取查重资料(V1上架,表格刊登上架,新队列上架)(耗时20秒,根据站点、sku获取历史上架标题、关键词、亮点、描述)(连续调试无法复现,5秒以上的都是10个SKU一起查的)</div>
    015+ <p><br /></p>
    016+ <p><img src="{415887.png}" alt="" width="300" height="166" title="" /></p>
    017+ <p><img src="{415890.png}" alt="" width="300" height="153" title="" /></p>
    018+ <p><br /></p>
    019+ <p><br /></p>
    020+ <div style="font-size:14px;">三、通过对代码的分析,基本锁定敏感词优化方向,思考方案(5H)</div>
    021+ <div style="font-size:14px;">优先针对敏感词进行优化,从对上面日志的分析,基本上目前最重要的卡点是敏感词查询效率,如果能解决这个问题,可以有较大的提升。</div>
    022+ <div style="font-size:14px;">1、敏感词接口,本身性能需要优化(目前手动测试,5次请求,2次300毫秒,2次1~2秒,1次4秒),少军是否有方案。</div>
    023+ <div style="font-size:14px;">2、调用敏感词的地方要优化。可参考人工刊登的思路,把原来 标题、5亮点、描述、关键词8个分开请求的,合并成一次请求,按原来平均一次2秒来算,2*8=16秒一个周期,合并后即便是按4秒来算,都提升了四分之三</div>
    024+ <div style="font-size:14px;"></div>
    025+ <p><br /></p>
    026+ <div style="font-size:14px;">四、对代码环境不了解,对代码全局研究熟悉,时间损耗(8H)</div>
    027+ <p><br /></p>
    028+ <div style="font-size:14px;">五、具体代码编写,共调整三个模块,及以下工作(21H)</div>
    029+ <div style="font-size:14px;">1、AutoPublishService.OrderSourceAmazonAutoPublish</div>
    030+ <div style="font-size:14px;">2、AmazonAutoPublishTranslateService.GetTranslateResultAsync</div>
    031+ <div style="font-size:14px;">3、AutoPublishExtendService.GetMultiDatasNewAsync</div>
    032+ <div style="font-size:14px;">4、通过代码评审会评审,把合并敏感词过滤功能,改造为公共方法:FilterSensitiveWordsHelper.ProcessFilteringWords</div>
    033+ <div style="font-size:14px;">5、针对每一个场景在堡垒机进行调试。</div>
    034+ <p><br /></p>
    035+ <div style="font-size:14px;">六、针对Redis集群进行测试,单线程测试通过(2H)</div>
    036+ <img src="{415892.png}" alt="" width="300" height="95" title="" /><p><br /></p>


  3. 2024-10-18 15:49:58, 由 王翔宇 完成。
    修改了 总计消耗,旧值为 "0",新值为 "32"。
    修改了 指派给 ,旧值为 "wangxiangyu",新值为 "luoyoujun"。
    修改了 实际完成,旧值为 "",新值为 "2024-10-18 15:49:51"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2024-10-18 15:49:58"。
    修改了 预计剩余,旧值为 "32",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "wangxiangyu"。
  4. 2024-10-22 17:10:48, 由 梁秀丽 编辑。
    修改了 最初预计,旧值为 "32",新值为 "114"。
    修改了 任务描述,区别为:
    016- <img src="/zentao/file-read-415887.png" alt="" width="300" height="166" title="" />
    016+ <img src="/zentao/file-read-415887.png" alt="" title="" width="300" height="166" />
    017- <img src="/zentao/file-read-415890.png" alt="" width="300" height="153" title="" />
    017+ <img src="/zentao/file-read-415890.png" alt="" title="" width="300" height="153" />
    036- <img src="/zentao/file-read-415892.png" alt="" width="300" height="95" title="" />
    036+ <img src="/zentao/file-read-415892.png" alt="" title="" width="300" height="95" />
    016- <p><img src="/zentao/file-read-415887.png" alt="" width="300" height="166" title="" /></p>
    016+ <p><img src="/zentao/file-read-415887.png" alt="" title="" width="300" height="166" /></p>
    017- <p><img src="/zentao/file-read-415890.png" alt="" width="300" height="153" title="" /></p>
    017+ <p><img src="/zentao/file-read-415890.png" alt="" title="" width="300" height="153" /></p>
    036- <img src="/zentao/file-read-415892.png" alt="" width="300" height="95" title="" /><p><br /></p>
    036+ <img src="/zentao/file-read-415892.png" alt="" title="" width="300" height="95" /><p><br /></p>
  5. 2024-10-22 18:08:58, 由 罗友军 编辑。
    修改了 最初预计,旧值为 "114",新值为 "51"。
所属迭代 智能中心-智能刊登迭代
所属模块 智能中心-需求池  战略独立项目   智能刊登
相关需求 智能刊登-服务性能优化
指派给 罗友军 于 2024-10-18 15:49:58
任务类型 后端
任务标签 初始
开发组
任务状态 已完成
进度 100%
优先级 P0
关键词
抄送给
由谁创建 罗友军 于 2024-10-16 11:17:45
由谁完成 王翔宇 于 2024-10-18 15:49:51
由谁取消 暂无
由谁关闭 暂无
关闭原因 暂无
最后编辑 罗友军 于 2024-10-22 18:08:58
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 51工时
总计消耗 32工时
预计剩余 0工时
预计开始 2024-10-16
实际开始 2024-10-18
截止日期 2024-10-31