TASK#29570 JOB服务 - ABA关键词增量导入语义库 / 智能中心-智能选品迭代

任务描述

语义库接口文档：http://showdoc.zhcxkj.com/web/#/79/4645
每周期增量值保存在字典表中（注意代码中有标准的枚举分各个业务值）：system_dictionary

按周、月和站点维度分开，目前只需要美国和德国站，后续能根据站点名（cron参数）指定：

数据来源1：SELECT T1.Id as id, T1.SearchWordCn as text FROM `gather_keywords_amazon_us` as T1 INNER JOIN `analysis_week_amazon_us_v1` as T2 ON T1.HashWord=T2.HashWord;

语义表1：amazon_us_week

数据来源2：SELECT T1.Id as id,T1.SearchWordCn as text FROM `gather_keywords_amazon_us` as T1 INNER JOIN `analysis_amazon_us_v1` as T2 ON T1.HashWord=T2.HashWord;

语义表2：amazon_us_month

数据来源3：SELECT T1.Id as id,T1.SearchWordCn as text FROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;

语义表3：amazon_de_week

数据来源4：SELECT T1.Id as id,T1.SearchWordCn as text FROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;

语义表4：amazon_de_month

需求描述

需求详情：http://product-doc-wan.zhcxkj.com:9000/%E4%BA%A7%E5%93%81%E4%B8%80%E7%BB%84/xiaoyu/%E6%99%BA%E8%83%BD%E9%80%89%E5%93%81/start.html#g=1&p=%E7%AB%9E%E5%93%81%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86-%E7%B3%BB%E7%BB%9F%E6%A0%B8%E5%BF%83%E8%AF%8D%E9%BB%98%E8%AE%A4%E9%80%BB%E8%BE%91%EF%BC%88%E8%80%81%E5%93%81%EF%BC%89

外网：https://v4mhnh.axshare.com/#g=1&p=%E7%AB%9E%E5%93%81%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86-%E7%B3%BB%E7%BB%9F%E6%A0%B8%E5%BF%83%E8%AF%8D%E9%BB%98%E8%AE%A4%E9%80%BB%E8%BE%91%EF%BC%88%E8%80%81%E5%93%81%EF%BC%89

一、背景
背景：对亚马逊运营中心调研数据进行系统化，积累优质的关键词。
目的：老品优化词默认系统。
业务价值：将人工筛选的逻辑系统化。

二、需求说明
2.1、操作位置：竞品数据管理--关键词
2.2、需求说明：
2.2.1、新增字段【中文相似度】，放在【人工优化词】之后。
--中文相似度（调用中文匹配度接口）：通过系统SKU找到对应的中文关键词（位置：产品库--精准关键词）与关键词（中文）进行中文匹配。
--将sif关键词增量导入语义库
--ABA关键词增量导入语义库

2.2.2、智能选品-系统核心词默认逻辑优化

1）系统核心词默认逻辑：按系统SKU的维度对【中文相似度】【流量占比】【月搜索量】【竞品数】【竞争度】【月购买量】【购买率】【供需比】进行‘极差标准化法’算出每个字段的标准化值；再通过公式得出【系统核心词排名值】，【系统核心词排名值】越大越优先，取前10个关键词。

2）【极差标准化法】：具体的操作方法为：首先需要找出该指标的最大值（Xmax）和最小值（Xmin），并计算极差（R = Xmax - Xmin），然后用该变量的每一个观察值（X）减去最小值（Xmin），再除以极差（R），即：X' = (X-Xmin) / (Xmax-Xmin)
参考资料：https://zhuanlan.zhihu.com/p/367923356

3）【系统核心词排名值】=【中文相似度（X' ）】*31%+【流量占比（X' ）】*22%+【月搜索量（X' ）】*20%-【竞品数（X' ）】*6%-【竞争度（X' ）】*5%+【月购买量（X' ）】*9%+【供需比（X' ）】*3%

2.2.3、竞品数据管理-关键词/高频词,导出新增【操作人】【操作时间】【操作内容】
--按最新的时间导出。

2.2.4、竞品数据管理--关键词标注记录标注人。
--按最新的时间记录标注人，并推送到erp进行存储，用于BI统计销售的标注进度情况。

验收标准

暂无

相关用例

历史记录

2022-07-25 10:11:20, 由 李育贵 创建。
2022-07-25 10:27:14, 由 李育贵 编辑。
修改了 任务描述，区别为：
001- ~~语义库接口文档：http://showdoc.zhcxkj.com/web/#/79/4645~~
001+ 语义库接口文档：http://showdoc.zhcxkj.com/web/#/79/4645每周期增量值保存在字典表中（注意代码中有标准的枚举分各个业务值）：system_dictionary按周、月和站点维度分开，目前只需要美国和德国站，后续能根据站点名（cron参数）指定：
002-
002+
003- ~~每周期增量值保存在字典表中（注意代码中有标准的枚举分各个业务值）：system_dictionary~~
003+ 数据来源1：SELECT T1.Id as id, T1.SearchWordCn as textFROM `gather_keywords_amazon_us` as T1 INNER JOIN `analysis_week_amazon_us_v1` as T2 ON T1.HashWord=T2.HashWord;
004-
004+ 语义表1：amazon_us_week
005- ~~ABA关键词数据源表：SELECT T1.* FROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;~~
005+
006+ 数据来源2：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_us` as T1 INNER JOIN `analysis_amazon_us_v1` as T2 ON T1.HashWord=T2.HashWord;
007+ 语义表2：amazon_us_month数据来源3：amazon_de_week
008+ 语义表3：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;数据来源4：amazon_de_month
009+ 语义表4：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;

001- ~~语义库接口文档：http://showdoc.zhcxkj.com/web/#/79/4645 ~~
001+ 语义库接口文档：http://showdoc.zhcxkj.com/web/#/79/4645 每周期增量值保存在字典表中（注意代码中有标准的枚举分各个业务值）：system_dictionary 按周、月和站点维度分开，目前只需要美国和德国站，后续能根据站点名（cron参数）指定：
002- ~~ ~~
002+ 
003- ~~每周期增量值保存在字典表中（注意代码中有标准的枚举分各个业务值）：system_dictionary ~~
003+ 数据来源1：SELECT T1.Id as id, T1.SearchWordCn as textFROM `gather_keywords_amazon_us` as T1 INNER JOIN `analysis_week_amazon_us_v1` as T2 ON T1.HashWord=T2.HashWord;
004- ~~ ~~
004+ 语义表1：amazon_us_week
005- ~~ABA关键词数据源表：SELECT T1.* FROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;~~
005+ 
006+ 数据来源2：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_us` as T1 INNER JOIN `analysis_amazon_us_v1` as T2 ON T1.HashWord=T2.HashWord;
007+ 语义表2：amazon_us_month 数据来源3：amazon_de_week
008+ 语义表3：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord; 数据来源4：amazon_de_month
009+ 语义表4：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;
2022-07-25 10:43:27, 由 李育贵 编辑。
修改了 任务描述，区别为：
007- ~~语义表2：amazon_us_month数据来源3：amazon_de_week~~
007+ 语义表2：amazon_us_month数据来源3：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;
008- ~~语义表3：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;数据来源4：amazon_de_month~~
008+ 语义表3：amazon_de_week数据来源4：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;
009- ~~语义表4：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;~~
009+ 语义表4：amazon_de_month

007- ~~语义表2：amazon_us_month 数据来源3：amazon_de_week~~
007+ 语义表2：amazon_us_month 数据来源3：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;
008- 语义表3：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_week_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord; 数据来源4：amazon_de_month
008+ 语义表3：amazon_de_week 数据来源4：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord;
009- 语义表4：SELECT T1.Id as id,T1.SearchWordCn as textFROM `gather_keywords_amazon_de` as T1 INNER JOIN `analysis_amazon_de_v1` as T2 ON T1.HashWord=T2.HashWord; 
009+ 语义表4：amazon_de_month
2022-07-25 12:24:18, 由 zhubin 添加备注。
2022-07-26 09:23:25, 由 zhubin 添加备注。

部分代码实现：
2022-07-26 09:26:32, 由 zhubin 添加备注。

单元测试服务；
2022-07-26 11:16:38, 由 zhubin 完成。
修改了 总计消耗，旧值为 "0"，新值为 "8"。
修改了 指派给 ，旧值为 "zhubin"，新值为 "liyugui"。
修改了 实际完成，旧值为 ""，新值为 "2022-07-26 11:16:33"。
修改了 任务状态，旧值为 "wait"，新值为 "done"。
修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2022-07-26 11:16:38"。
修改了 预计剩余，旧值为 "8"，新值为 "0"。
修改了 由谁完成，旧值为 ""，新值为 "zhubin"。
2022-07-26 14:08:22, 由 李育贵 激活。
修改了 指派给 ，旧值为 "liyugui"，新值为 "zhubin"。
修改了 预计剩余，旧值为 "0"，新值为 "2"。
修改了 任务状态，旧值为 "done"，新值为 "doing"。
修改了 由谁完成，旧值为 "zhubin"，新值为 ""。
修改了 实际完成，旧值为 "2022-07-26 11:16:33"，新值为 "0000-00-00"。
修改了 取消时间，旧值为 ""，新值为 "0000-00-00"。
修改了 关闭时间，旧值为 ""，新值为 "0000-00-00"。

没有调通接口
2022-07-27 10:36:37, 由 zhubin 添加备注。
INSERT INTO zhcxkj_autochoose.system_dictionary
(ParentId, `Type`, TypeName, Name, NameEn, Value, Sort, IsActive)
VALUES(0, 13, 'ABA关键词增量导入语义库(美国站点按周)', '', '', '0', 0, 1);
INSERT INTO zhcxkj_autochoose.system_dictionary
(ParentId, `Type`, TypeName, Name, NameEn, Value, Sort, IsActive)
VALUES(0, 14, 'ABA关键词增量导入语义库(美国站点按月)', '', '', '0', 0, 1);

INSERT INTO zhcxkj_autochoose.system_dictionary
(ParentId, `Type`, TypeName, Name, NameEn, Value, Sort, IsActive)
VALUES(0, 14, 'ABA关键词增量导入语义库(德国站点按周)', '', '', '0', 0, 1);
INSERT INTO zhcxkj_autochoose.system_dictionary
(ParentId, `Type`, TypeName, Name, NameEn, Value, Sort, IsActive)
VALUES(0, 15, 'ABA关键词增量导入语义库(德国站点按月)', '', '', '0', 0, 1);
2022-07-27 11:31:59, 由 zhubin 完成。
修改了 总计消耗，旧值为 "8"，新值为 "10"。
修改了 指派给 ，旧值为 "zhubin"，新值为 "dengying"。
修改了 实际完成，旧值为 ""，新值为 "2022-07-27 11:31:37"。
修改了 任务状态，旧值为 "doing"，新值为 "done"。
修改了 预计剩余，旧值为 "2"，新值为 "0"。
修改了 由谁完成，旧值为 ""，新值为 "zhubin"。
2022-07-27 11:34:08, 由 zhubin 添加备注。

单元测试10条，联调成功
2022-08-03 09:27:26, 由 dengying 关闭。
修改了 任务状态，旧值为 "done"，新值为 "closed"。
修改了 指派给 ，旧值为 "dengying"，新值为 "closed"。
修改了 由谁关闭，旧值为 ""，新值为 "dengying"。
修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2022-08-03 09:27:26"。
修改了 关闭原因，旧值为 ""，新值为 "done"。

基本信息
任务的一生

所属迭代	智能中心-智能选品迭代
所属模块	智能中心-需求池战略独立项目智能选品
相关需求	竞品数据管理-系统核心词默认逻辑（老品）
指派给	Closed 于 2022-08-03 09:27:26
任务类型	后端
任务标签	初始
开发组
任务状态	已关闭
进度	100%
优先级	P2
关键词
抄送给

由谁创建	李育贵于 2022-07-25 10:11:20
由谁完成	zhubin 于 2022-07-27 11:31:37
由谁取消	暂无
由谁关闭	dengying 于 2022-08-03 09:27:26
关闭原因	已完成
最后编辑	dengying 于 2022-08-03 09:27:26

团队	最初预计	总计消耗	预计剩余

工时信息

最初预计	8工时
总计消耗	10工时
预计剩余	0工时
预计开始	0000-00-00
实际开始	2022-07-26
截止日期	0000-00-00