任务描述
文件下载完成，耗时2.088秒
普通Excel解析，耗时1.24秒
MD5校验和文件处理，耗时0.001秒
数据库相关处理操作，耗时2.863秒

一个类目处理时间大概6秒

一批类目3个线程：2000*6/3/60=66分钟

服务器触发时间：20分钟一次


全量切换搞一次：800000/5台/2000节点每一小时/24=3天

太久了，90万节点，要花3天时间才能更新完

需求描述

需求价值：因亚马逊类目模板表格不同国家站点的字段命名有所区别，原来的类目模板解析存在缺陷导致无法正确获取避免的属性字段（报错提示中包含A value is required for the的大部分是该问题导致）


需求内容

一、数据库字段是否必填解析逻辑修改

原解析获取属性字段是否必填的逻辑：

1，数据库字段列第3行的字段名称与是否必填列的表头名称一致时，数据库字段对应的是否必填列的值也与数据库字段列第3行的字段名称一致则该数据库字段标记为必填

2，数据库字段对应的必填列的为指定枚举时，该数据库字段标记为必填


新解析获取属性字段是否必填的逻辑：

1，数据库字段列第3行的字段名称与是否必填列的表头名称一致时，数据库字段对应的是否必填列的值也与数据库字段列第3行的字段名称一致则该数据库字段标记为必填

2，数据库字段对应的是否必填列的值为下面的任一枚举值时（不区分大小写），该数据库字段标记为必填

Krävs
Required
Obrigatório
Requis
Erforderlich
Obligatoire
Zorunlu
Wymagane
Verplicht
必須
Pflichtfeld
Vereist


二、增加执行队列的监控列表记录执行耗时，增加模板文件下载的耗时日志记录

数据监控情况：

文件下载完成，耗时2.088秒
普通Excel解析，耗时1.24秒
MD5校验和文件处理，耗时0.001秒
数据库相关处理操作，耗时2.863秒
一个类目处理时间大概6秒
一批类目3个线程：2000*6/3/60=66分钟
服务器触发时间：20分钟一次
全量切换搞一次：800000/5台/2000节点每一小时/24=3天

验收标准
暂无
历史记录  
  1. 2022-11-18 16:44:21, 由 王翔宇 创建。
  2. 2022-11-18 17:07:36, 由 王翔宇 编辑。
    修改了 任务描述，区别为：
    001- 文件下载完成，耗时2.088秒普通Excel解析，耗时1.24秒MD5校验和文件处理，耗时0.001秒数据库相关处理操作，耗时2.863秒一个类目处理时间大概6秒一批类目：2000*6/3/60=66分钟
    001+ 文件下载完成，耗时2.088秒普通Excel解析，耗时1.24秒MD5校验和文件处理，耗时0.001秒数据库相关处理操作，耗时2.863秒一个类目处理时间大概6秒一批类目3个线程：2000*6/3/60=66分钟服务器触发时间：20分钟一次
    003- 太久了，90万节点，要花3天时间才能更新完
    003+ 全量切换搞一次：800000/5台/2000节点每一小时/24=3天
    004+ 太久了，90万节点，要花3天时间才能更新完
    001- 文件下载完成，耗时2.088秒<br />普通Excel解析，耗时1.24秒<br />MD5校验和文件处理，耗时0.001秒<br />数据库相关处理操作，耗时2.863秒<br /><br />一个类目处理时间大概6秒<br /><p>一批类目：2000*6/3/60=66分钟</p>
    001+ 文件下载完成，耗时2.088秒<br />普通Excel解析，耗时1.24秒<br />MD5校验和文件处理，耗时0.001秒<br />数据库相关处理操作，耗时2.863秒<br /><br />一个类目处理时间大概6秒<br /><p>一批类目3个线程：2000*6/3/60=66分钟<br /><br />服务器触发时间：20分钟一次</p>
    003- <p>太久了，90万节点，要花3天时间才能更新完</p>
    003+ <p>全量切换搞一次：800000/5台/2000节点每一小时/24=3天</p>
    004+ <p>太久了，90万节点，要花3天时间才能更新完</p>

    优化方案：

    文件下载完成，耗时2.088秒
    普通Excel解析，耗时1.24秒
    MD5校验和文件处理，耗时0.001秒
    数据库相关处理操作，耗时2.863秒

    一个类目处理时间大概6秒

    一批类目10个线程：800*6/10/60=8分钟

    服务器触发时间：10分钟一次

    全量切换搞一次：((800000/5台/800节点)*8分钟)/60/24=1天
    可能需要观察后，看看优化效果，再更新


  3. 2022-11-22 15:05:43, 由 王翔宇 完成。
    修改了 总计消耗，旧值为 "0"，新值为 "6"。
    修改了 指派给 ，旧值为 "wangxiangyu"，新值为 "liletong"。
    修改了 实际完成，旧值为 ""，新值为 "2022-11-22 15:02:24"。
    修改了 任务状态，旧值为 "wait"，新值为 "done"。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2022-11-22 15:05:43"。
    修改了 预计剩余，旧值为 "6"，新值为 "0"。
    修改了 由谁完成，旧值为 ""，新值为 "wangxiangyu"。

    本次变更内容：

    1、增加批次执行记录表

    2、细化数据库执行耗时的日志记录

    3、减少每批执行的数量，增加拆分执行的线程数。

  4. 2022-11-22 15:11:54, 由 王翔宇 添加备注。
    没有界面，可线上观察。
  5. 2022-11-22 15:38:08, 由 王翔宇 编辑。
    修改了 相关需求，旧值为 "0"，新值为 "12700"。
    修改了 需求版本，旧值为 "1"，新值为 "4"。
  6. 2022-12-01 15:37:56, 由 zhengqiao 关闭。
    修改了 任务状态，旧值为 "done"，新值为 "closed"。
    修改了 指派给 ，旧值为 "liletong"，新值为 "closed"。
    修改了 由谁关闭，旧值为 ""，新值为 "zhengqiao"。
    修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2022-12-01 15:37:56"。
    修改了 关闭原因，旧值为 ""，新值为 "done"。
所属迭代 技术研发中心 11月分支版本（2022年）
所属模块 /
相关需求 类目模板下载速度调优以及必填字段匹配逻辑调整
指派给 Closed 于 2022-12-01 15:37:56
任务类型 后端
任务标签 初始
开发组 运营开发组
任务状态 已关闭
进度 100%
优先级 P2
关键词
抄送给
由谁创建 王翔宇 于 2022-11-18 16:44:21
由谁完成 王翔宇 于 2022-11-22 15:02:24
由谁取消 暂无
由谁关闭 zhengqiao 于 2022-12-01 15:37:56
关闭原因 已完成
最后编辑 zhengqiao 于 2022-12-01 15:37:56
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 6工时
总计消耗 6工时
预计剩余 0工时
预计开始 0000-00-00
实际开始 2022-11-22
截止日期 2022-11-22