任务描述

任务背景：

因为产品的侵权问题，需要对JDW和沃尔玛的全量在线数据，进行一次敏感词检测，优先级调整为P0

当前背景：JDW和walmart 都还没有对接侵权词检测项目，故本次任务是执行一次临时的数据全量检测
任务拆解:
（1）需要将JDW和沃尔玛的在线listing 全量推送到ES，需要推送的字段及SQL

如下是JDW的数据导入SQL,安排给@吴荣发执行一次数据全量同步


SELECT
	id AS Id,
	source_id AS OrderSourceId,
	`name` AS Title,
	platform_id AS ProductId,
	sku AS Sku,
	properties -> '$.seoKeys' AS Keywords,
	properties -> '$.pcDesc' AS PcDescription,
	properties -> '$.mDesc' AS MtDescription,
	properties -> '$.packingListDesc' AS PackingList,
	create_time AS AddTime,
	update_time AS UpdateTime 
FROM
	t_jdwalmart_listing 
WHERE
	`status` = 1 
AND is_deleted = 0
	LIMIT 10


针对Walmart 平台 的ES数据同步SQL及逻辑

沃尔玛同步
源表					ES
m_walmart_listing
-----
Name					Title   （产品标题）
OrderSourceId			OrderSourceId
ProductId				ProductId
Sku						Sku
----
Attribute				空
----
MongoDB（MarketPublish_Walmart_Descript_Set_Content）
Content					Description	   （产品描述）

MarketPublish_Walmart_KeyFeature_Set_Content
Content					KeyFeature    (特征亮点)	@李育贵沃尔玛ES要加一个字段-已增加

注意：

沃尔玛的mongoDB的字段 

description

keyfeature

平台暂未返回，先不推送到ES进行侵权词检查@吴荣发（即只推送产品标题）



(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况

(3)JDW和walmart

配置任务调用RiskApi进行全量listing检测敏感词

http://showdoc.zhcxkj.com/web/#/80/4739

参考钉钉文档

https://alidocs.dingtalk.com/i/nodes/gXMGnr6AkOP81Nqm0GzzWybeZRxlzopj?iframeQuery=mode%3D2%26sheetId%3Dd8AjmWaZ9



将检测后的结果及状态按照如下格式导出

跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查

（3）业务针对跑出来的数据，进行手动处理

附件
历史记录  
  1. 2023-03-08 14:20:38, 由 刘瀚泽 创建。
  2. 2023-03-08 17:28:26, 由 刘瀚泽 编辑。
    修改了 预计剩余，旧值为 "6"，新值为 "3"。
    修改了 指派给 ，旧值为 "shilin"，新值为 "yaojieyuan"。
  3. 2023-03-08 17:53:27, 由 刘瀚泽 编辑。
    修改了 预计剩余，旧值为 "3"，新值为 "0"。
    修改了 任务描述，区别为：
    026-
    026+ 沃尔玛同步
    027- 沃尔玛同步
    027+ 源表 ES
    028- 源表 ES
    028+ m_walmart_listing
    029- m_walmart_listing
    029+ -----
    030- -----
    030+ Name Title （产品标题）
    031- Name Title （产品标题）
    031+ OrderSourceId OrderSourceId
    032- OrderSourceId OrderSourceId
    032+ ProductId ProductId
    033- ProductId ProductId
    033+ Sku Sku
    034- Sku Sku
    034+ ----
    035- ----
    035+ Attribute 空
    036- Attribute 空
    036+ ----
    037- ----
    037+ MongoDB（MarketPublish_Walmart_Descript_Set_Content）
    038- MongoDB（MarketPublish_Walmart_Descript_Set_Content）
    038+ Content Description （产品描述）
    039- Content Description （产品描述）
    039+
    040-
    040+ MarketPublish_Walmart_KeyFeature_Set_Content
    041- MarketPublish_Walmart_KeyFeature_Set_Content
    041+ Content KeyFeature (特征亮点) @李育贵沃尔玛ES要加一个字段-已增加
    042- Content KeyFeature (特征亮点) @李育贵沃尔玛ES要加一个字段-已增加
    042+ 注意：
    043-
    043+ 沃尔玛的mongoDB的字段 数据存在缺失,需要查出问题并修复,完成后执行一次全量同步@姚杰远
    044- 注意：
    044+ Descript_Set_Content
    045- 沃尔玛的mongoDB的字段 数据存在缺失,需要查出问题并修复,完成后执行一次全量同步@石林
    045+ KeyFeature_Set_Content
    046- Descript_Set_Content
    046+ 补充完成后，按照荣发重新导入数据到ES
    047- KeyFeature_Set_Content
    047+ (2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况@何建宝帮忙执行数据
    048- (2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况
    048+ 跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查（3）业务针对跑出来的数据，进行手动处理
    049- 跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查（3）业务针对跑出来的数据，进行手动处理
    026- <p><br /></p>
    026+ <pre class="prettyprint lang-js">沃尔玛同步
    027- <pre class="prettyprint lang-js">沃尔玛同步
    027+ 源表 ES
    028- 源表 ES
    028+ m_walmart_listing
    029- m_walmart_listing
    029+ -----
    030- -----
    030+ Name Title （产品标题）
    031- Name Title （产品标题）
    031+ OrderSourceId OrderSourceId
    032- OrderSourceId OrderSourceId
    032+ ProductId ProductId
    033- ProductId ProductId
    033+ Sku Sku
    034- Sku Sku
    034+ ----
    035- ----
    035+ Attribute 空
    036- Attribute 空
    036+ ----
    037- ----
    037+ MongoDB（MarketPublish_Walmart_Descript_Set_Content）
    038- MongoDB（MarketPublish_Walmart_Descript_Set_Content）
    038+ Content Description （产品描述）
    039- Content Description （产品描述）
    039+
    040-
    040+ MarketPublish_Walmart_KeyFeature_Set_Content
    041- MarketPublish_Walmart_KeyFeature_Set_Content
    041+ Content KeyFeature (特征亮点) @李育贵沃尔玛ES要加一个字段-已增加</pre>
    042- Content KeyFeature (特征亮点) @李育贵沃尔玛ES要加一个字段-已增加</pre>
    042+ <p>注意：</p>
    043- <p><br /></p>
    043+ <p>沃尔玛的mongoDB的字段 数据存在缺失,需要查出问题并修复,完成后执行一次全量同步<strong><span style="color:#E53333;">@姚杰远</span></strong></p>
    044- <p>注意：</p>
    044+ <p><strong><span style="color:#E53333;">Descript_Set_Content</span></strong></p>
    045- <p>沃尔玛的mongoDB的字段 数据存在缺失,需要查出问题并修复,完成后执行一次全量同步@石林</p>
    045+ <p><strong><span style="color:#E53333;">KeyFeature_Set_Content</span></strong></p>
    046- <p>Descript_Set_Content</p>
    046+ <p><strong>补充完成后，按照荣发重新导入数据到ES</strong></p>
    047- <p>KeyFeature_Set_Content</p>
    047+ <p>(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况<strong><span style="color:#E53333;">@何建宝帮忙执行数据</span></strong></p>
    048- <p>(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况</p>
    048+ <p>跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查<br />（3）业务针对跑出来的数据，进行手动处理</p>
    049- <p>跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查<br />（3）业务针对跑出来的数据，进行手动处理</p>
  4. 2023-03-08 20:15:27, 由 刘瀚泽 编辑。
    修改了 任务类型，旧值为 "operation"，新值为 "devel"。
    修改了 任务描述，区别为：
    047- (2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况@何建宝帮忙执行数据
    047+
    048- 跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查（3）业务针对跑出来的数据，进行手动处理
    048+ (2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况
    049+ (3)JDW和walmart
    050+ 配置任务调用RiskApi进行检测敏感词，将检测后的结果及状态
    051+ <a href="http://showdoc.zhcxkj.com/web/#/80/4739" target="_blank" rel="noreferrer noopener">http://showdoc.zhcxkj.com/web/#/80/4739
    052+ 按照如下格式导出
    053+
    054+ 跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查
    055+ （3）业务针对跑出来的数据，进行手动处理
    047- <p>(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况<strong><span style="color:#E53333;">@何建宝帮忙执行数据</span></strong></p>
    047+ <p><strong><br /></strong></p>
    048- <p>跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查<br />（3）业务针对跑出来的数据，进行手动处理</p>
    048+ <p>(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况</p>
    049+ <p><strong><span style="color:#E53333;">(3)JDW和walmart</span></strong></p>
    050+ <p><strong><span style="color:#E53333;">配置任务</span></strong><span style="color:#333333;">调用<strong><span style="color:#E53333;">RiskApi进行检测敏感词，将检测后的结果及状态</span></strong></span></p>
    051+ <p><span style="color:#333333;"><strong><span style="color:#E53333;"><a href="http://showdoc.zhcxkj.com/web/#/80/4739" target="_blank" rel="noreferrer noopener">http://showdoc.zhcxkj.com/web/#/80/4739</a><br /></span></strong></span></p>
    052+ <p><span style="color:#333333;">按照如下格式导出</span></p>
    053+ <p><img src="{247056.png}" alt="" /></p>
    054+ <p>跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查</p>
    055+ <p>（3）业务针对跑出来的数据，进行手动处理</p>
  5. 2023-03-09 08:57:10, 由 闫峰 编辑。
    修改了 任务描述，区别为：
    053- <img src="/zentao/file-read-247056.png" alt="" />
    053+
    053- <p><img src="/zentao/file-read-247056.png" alt="" /></p>
    053+ <p><img src="{247056.png}" alt="" /></p>

    全量验证：

    全量数据推送到MQ进行验证

    全量验证完成


  6. 2023-03-09 13:38:54, 由 刘瀚泽 编辑。
    修改了 最初预计，旧值为 "6"，新值为 "10"。
    修改了 指派给 ，旧值为 "yaojieyuan"，新值为 "wangqian"。
    修改了 任务描述，区别为：
    043- 沃尔玛的mongoDB的字段 数据存在缺失,需要查出问题并修复,完成后执行一次全量同步@姚杰远
    043+ 沃尔玛的mongoDB的字段
    044- Descript_Set_Content
    044+ description
    045- KeyFeature_Set_Content
    045+ keyfeature
    046- 补充完成后，按照荣发重新导入数据到ES
    046+ 平台暂未返回，先不推送到ES进行侵权词检查@吴荣发（即只推送产品标题）
    047-
    047+
    048- (2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况
    048+
    049- (3)JDW和walmart
    049+ (2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况
    050- 配置任务调用RiskApi进行检测敏感词，将检测后的结果及状态
    050+ (3)JDW和walmart
    051- <a href="http://showdoc.zhcxkj.com/web/#/80/4739" target="_blank" rel="noreferrer noopener">http://showdoc.zhcxkj.com/web/#/80/4739
    051+ 配置任务调用RiskApi进行全量listing检测敏感词
    052- 按照如下格式导出
    052+ <a href="http://showdoc.zhcxkj.com/web/#/80/4739" target="_blank" rel="noreferrer noopener">http://showdoc.zhcxkj.com/web/#/80/4739
    053- <img src="/zentao/file-read-247056.png" alt="" />
    053+ 参考钉钉文档
    054- 跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查
    054+ <a href="https://alidocs.dingtalk.com/i/nodes/gXMGnr6AkOP81Nqm0GzzWybeZRxlzopj?iframeQuery=mode%3D2%26sheetId%3Dd8AjmWaZ9" target="_blank" rel="noreferrer noopener">https://alidocs.dingtalk.com/i/nodes/gXMGnr6AkOP81Nqm0GzzWybeZRxlzopj?iframeQuery=mode%3D2%26sheetId%3Dd8AjmWaZ9
    055- （3）业务针对跑出来的数据，进行手动处理
    055+
    056+
    057+ 将检测后的结果及状态按照如下格式导出
    058+
    059+ 跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查
    060+ （3）业务针对跑出来的数据，进行手动处理
    043- <p>沃尔玛的mongoDB的字段 数据存在缺失,需要查出问题并修复,完成后执行一次全量同步<strong><span style="color:#E53333;">@姚杰远</span></strong></p>
    043+ <p>沃尔玛的mongoDB的字段</p>
    044- <p><strong><span style="color:#E53333;">Descript_Set_Content</span></strong></p>
    044+ <p>description</p>
    045- <p><strong><span style="color:#E53333;">KeyFeature_Set_Content</span></strong></p>
    045+ <p>keyfeature</p>
    046- <p><strong>补充完成后，按照荣发重新导入数据到ES</strong></p>
    046+ <p>平台暂未返回，先不推送到ES进行侵权词检查@吴荣发（即只推送产品标题）</p>
    047- <p><strong><br /></strong></p>
    047+ <p><br /></p>
    048- <p>(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况</p>
    048+ <p><br /></p>
    049- <p><strong><span style="color:#E53333;">(3)JDW和walmart</span></strong></p>
    049+ <p>(2)全量执行ES数据检查@闫峰帮跟进数据的ES检查情况</p>
    050- <p><strong><span style="color:#E53333;">配置任务</span></strong><span style="color:#333333;">调用<strong><span style="color:#E53333;">RiskApi进行检测敏感词，将检测后的结果及状态</span></strong></span></p>
    050+ <p><strong><span style="color:#E53333;">(3)JDW和walmart</span></strong></p>
    051- <p><span style="color:#333333;"><strong><span style="color:#E53333;"><a href="http://showdoc.zhcxkj.com/web/#/80/4739" target="_blank" rel="noreferrer noopener">http://showdoc.zhcxkj.com/web/#/80/4739</a><br /></span></strong></span></p>
    051+ <p><strong><span style="color:#E53333;">配置任务</span></strong><span style="color:#333333;">调用<strong><span style="color:#E53333;">RiskApi进行全量listing检测敏感词</span></strong></span></p>
    052- <p><span style="color:#333333;">按照如下格式导出</span></p>
    052+ <p><span style="color:#333333;"><strong><span style="color:#E53333;"><a href="http://showdoc.zhcxkj.com/web/#/80/4739" target="_blank" rel="noreferrer noopener">http://showdoc.zhcxkj.com/web/#/80/4739</a><br /></span></strong></span></p>
    053- <p><img src="/zentao/file-read-247056.png" alt="" /></p>
    053+ <p><span style="color:#333333;"><strong>参考钉钉文档</strong></span></p>
    054- <p>跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查</p>
    054+ <p><span style="color:#333333;"><strong><a href="https://alidocs.dingtalk.com/i/nodes/gXMGnr6AkOP81Nqm0GzzWybeZRxlzopj?iframeQuery=mode%3D2%26sheetId%3Dd8AjmWaZ9" target="_blank" rel="noreferrer noopener">https://alidocs.dingtalk.com/i/nodes/gXMGnr6AkOP81Nqm0GzzWybeZRxlzopj?iframeQuery=mode%3D2%26sheetId%3Dd8AjmWaZ9</a></strong></span></p>
    055- <p>（3）业务针对跑出来的数据，进行手动处理</p>
    055+ <p><span style="color:#333333;"><strong><img src="{247216.png}" alt="" /><br /></strong></span></p>
    056+ <p><span style="color:#333333;"><strong><br /></strong></span></p>
    057+ <p><span style="color:#333333;"><span style="font-weight:700;color:#333333;"><span style="color:#E53333;">将检测后的结果及状态</span></span>按照如下格式导出</span></p>
    058+ <p><img src="{247056.png}" alt="" /></p>
    059+ <p>跑这两个平台的侵权禁售服务将侵权词，商标词跑出来，并形成Excel导出给业务检查</p>
    060+ <p>（3）业务针对跑出来的数据，进行手动处理</p>
    注意：任务完成时间截止：2023年3月10日上午
  7. 2023-03-09 13:58:27, 由 刘瀚泽 编辑。
    修改了 指派给 ，旧值为 "wangqian"，新值为 "lifei"。
    修改了 任务描述，区别为：
    055- <img src="/zentao/file-read-247216.png" alt="" />
    055+
    058- <img src="/zentao/file-read-247056.png" alt="" />
    058+
    055- <p><span style="color:#333333;"><strong><img src="/zentao/file-read-247216.png" alt="" /><br /></strong></span></p>
    055+ <p><span style="color:#333333;"><strong><img src="{247216.png}" alt="" /><br /></strong></span></p>
    058- <p><img src="/zentao/file-read-247056.png" alt="" /></p>
    058+ <p><img src="{247056.png}" alt="" /></p>
  8. 2023-03-13 09:09:45, 由 李飞 启动。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2023-03-13 09:09:19"。
    修改了 任务状态，旧值为 "wait"，新值为 "doing"。
    修改了 总计消耗，旧值为 "0"，新值为 "10"。
    修改了 预计剩余，旧值为 "0"，新值为 "1"。
  9. 2023-03-13 09:10:19, 由 李飞 记录工时，消耗 1 小时。
    修改了 总计消耗 ，旧值为 "10"，新值为 "11"。
    修改了 预计剩余 ，旧值为 "1"，新值为 "0"。
    修改了 指派给 ，旧值为 "lifei"，新值为 "weisicheng"。
    修改了 完成者列表，旧值为 ""，新值为 ",lifei,"。
  10. 2023-03-13 09:43:45, 由 韦思成 完成。
    修改了 总计消耗 ，旧值为 "11"，新值为 "19"。
    修改了 指派给 ，旧值为 "weisicheng"，新值为 "yanfeng"。
    修改了 完成者列表，旧值为 ",lifei,"，新值为 ",lifei,weisicheng,"。
    上传了附件 walmart禁售词.xls 已完成，报告已发给产品
  11. 2023-03-22 17:00:51, 由 闫峰 完成。
    修改了 总计消耗 ，旧值为 "19"，新值为 "19.01"。
    修改了 指派给 ，旧值为 "yanfeng"，新值为 "liuhanze"。
    修改了 任务状态 ，旧值为 "doing"，新值为 "done"。
    修改了 由谁完成 ，旧值为 ""，新值为 "yanfeng"。
    修改了 实际完成 ，旧值为 ""，新值为 "2023-03-22 17:00:51"。
    修改了 完成者列表，旧值为 ",lifei,weisicheng,"，新值为 ",lifei,weisicheng,yanfeng,"。
  12. 2023-03-27 23:14:17, 由 刘瀚泽 关闭。
    修改了 任务状态，旧值为 "done"，新值为 "closed"。
    修改了 指派给 ，旧值为 "liuhanze"，新值为 "closed"。
    修改了 由谁关闭，旧值为 ""，新值为 "liuhanze"。
    修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2023-03-27 23:14:17"。
    修改了 关闭原因，旧值为 ""，新值为 "done"。
    已完成
返回
所属迭代 技术研发中心 3月运维事项（2023年）
所属模块 /
相关需求 暂无
指派给 Closed 于 2023-03-27 23:14:17
任务类型 后端
任务标签 初始
开发组 有品开发组
任务状态 已关闭
进度 100%
优先级 P2
关键词
抄送给
由谁创建 刘瀚泽 于 2023-03-08 14:20:38
由谁完成 闫峰 于 2023-03-22 17:00:51
由谁取消 暂无
由谁关闭 刘瀚泽 于 2023-03-27 23:14:17
关闭原因 已完成
最后编辑 刘瀚泽 于 2023-03-27 23:14:17
团队 最初预计 总计消耗 预计剩余
李飞 4 11 0
韦思成 4 8 0
闫峰 2 0.01 0
工时信息
最初预计 10工时
总计消耗 19.01工时
预计剩余 0工时
预计开始 2023-03-08
实际开始 2023-03-13
截止日期 2023-03-09