任务描述

技术方案：


1、开始：


新增服务：增量同步SKU信息语义分析服务
项目工程：ZhcxkjErpWorker
服务入口类：TextSearchWorkerCorn
2、查询字典队列：



ERP数据库字典表：RB_Dictionary
上线前需初始化字典数据
Value值存储内容包含字段：
1、开始时间
2、结束时间
3、同步最大ID
4、同步状态   (同步中、同步完成)


3、获取数据SQL:

SELECT  TOP 500 a.SKU,a.ProductName,a.ProductNameCN
FROM dbo.RB_Product a (nolock) INNER JOIN dbo.RB_Product_Admin b (NOLOCK) ON a.CustomerID =b.CustomerID AND a.SKU=b.SKU
WHERE a.CustomerID=1 AND b.ProductEditAuditTime>='{开始时间}' and b.ProductEditAuditTime<'{结束时间}'AND a.ID >{最大ID} ORDER BY a.iD ASC 

4、数据存储：


调接口保存到语义库：http://text-search.zhcxkj.com/load_product

保存字典数据：RB_Dictionary


5、初始化数据范围：从2022年8月1号开始


需求描述

需求详情：智能选品-系统SKU信息增量同步服务（P0） (zhcxkj.com)


一、背景

背景：目前系统SKU的信息未做增量同步到 【语义分析库】
目的：保证老品推荐模型正常运行，将系统SKU信息无遗漏的导入【语义分析库】
前置说明：技术开发，测试需按标准进行处理及验证，若遇到疑问，需进行及时沟通。

二、需求说明

2.1、同步流程图见原型

2.2、功能说明
新增SKU信息增量同步功能
主干流程：筛选ERP-SKU（按SKU更新时间同步）--》智能选品-语义词索引库：rb_product--》同步到语义分析库。
同步频率：每天下午 21：00开始同步（同步标准/测试注意点：需保证不影响老品推荐模型的提报，测算同步时长。）
同步逻辑：
1）ERP-SKU数据（ERP库：RB_Product）同步到智能选品-语义词索引库（智能选品库：rb_product）

A、获取ERP字段：产品SKU，产品英文名，产品中文名  （数据库表字段，核实找何健宝进行核实）
----ERP获取逻辑：每天下午 21：00开始同步最近三天（SKU更新时间或者新增时间在最近三天内）的SKU数据，增量更新。

B、存入智能选品库：milvus_id(对应ERP 产品SKU), title（对应ERP 产品英文名 ）, text（对应ERP 产品中文名  ）
----存储逻辑：1）新增SKU直接插入存储 2）更新的数据，对比产品英文名与产品中文名有变化则更新，并将’向量库推送状态‘  变为’待推送‘；等待推送给【向量库】（即语义分析库）

验收标准：1）同步数据准确。2）按时同步，6小时内可以完成数据同步


2）智能选品-语义词索引库（智能选品库：rb_product）同步到语义分析库
同步频率：每天下午 21：00开始同步（同步标准/测试注意点：需保证不影响老品推荐模型的提报，测算同步时长。）
同步逻辑：每天下午 21：00开始同步 将数据状态为’待推送‘ 的数据同步到语义分析库
同步语义分析库接口文档：http://showdoc.zhcxkj.com/web/#/79/4701
注：文档咨询可找黄金龙沟通。

验收标准：1）同步数据准确。2）按时同步，6小时内可以完成数据同步。


验收标准
暂无
相关用例
历史记录  
  1. 2022-09-13 13:59:28, 由 罗友军 创建。
  2. 2022-09-15 19:12:57, 由 王地福 完成。
    修改了 总计消耗，旧值为 "0"，新值为 "8"。
    修改了 指派给 ，旧值为 "wangdifu"，新值为 "luoyoujun"。
    修改了 实际完成，旧值为 ""，新值为 "2022-09-15 19:01:00"。
    修改了 任务状态，旧值为 "wait"，新值为 "done"。
    修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2022-09-15 19:12:57"。
    修改了 预计剩余，旧值为 "8"，新值为 "0"。
    修改了 由谁完成，旧值为 ""，新值为 "wangdifu"。

    代码截图


    注：龙哥接口没有测试环境，所以 测试测试的时候需要用正式环境的sku 的数据去测试


  3. 2023-10-31 16:38:44, 由 周杰 关闭。
    修改了 任务状态，旧值为 "done"，新值为 "closed"。
    修改了 指派给 ，旧值为 "luoyoujun"，新值为 "closed"。
    修改了 由谁关闭，旧值为 ""，新值为 "zhoujie"。
    修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2023-10-31 16:38:44"。
    修改了 关闭原因，旧值为 ""，新值为 "done"。
返回
所属迭代 智能中心-智能选品迭代
所属模块 智能中心-需求池  战略独立项目   智能选品
相关需求 智能选品-系统SKU信息增量同步服务
指派给 Closed 于 2023-10-31 16:38:44
任务类型 后端
任务标签 初始
开发组
任务状态 已关闭
进度 100%
优先级 P0
关键词
抄送给
由谁创建 罗友军 于 2022-09-13 13:59:26
由谁完成 王地福 于 2022-09-15 19:01:00
由谁取消 暂无
由谁关闭 周杰 于 2023-10-31 16:38:44
关闭原因 已完成
最后编辑 周杰 于 2023-10-31 16:38:44
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 8工时
总计消耗 8工时
预计剩余 0工时
预计开始 0000-00-00
实际开始 2022-09-15
截止日期 2022-09-15