TASK#69144 AI 销量预测基础服务 -战略 / 智能中心-智能选品迭代

任务描述

一、背景
目前AI 销量预测模型已经输出，需搭建线上应用服务提供给其他系统进行使用。
业务价值：AI销量预测预测服务，预估50000.
验收人：商雷

二、需求说明
2.1、搭建AI销量预测服务
流程：应用请求--》AI 销量预测（存请求数据）--》查询MQ--》AI销量预测服务（GPU运算）--》AI 销量预测库（存结果数据）

1、新建AI 销量预测库，用于存请求数据与结果数据
1）AI销量训练集
字段：ASIN，站点，发货方式（1：FBA 2：FBM），付款时间，销量，listingID，渠道SKU，来源渠道ID，来源渠道名称，销售二级部门，SKU，SKU中文名称，SKU英文名称，添加时间，更新时间

数据来源：将近2年内大于等于100天销量的ASIN导入训练集库（含亚马逊中心，有品有销量的ASIN）。

数据更新频率：
增量：每天早上0：00开始将将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】；用于AI训练集训练。
全量：将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】，进行训练。
注：目前训练集库存在bi库需将已有数据大于等于100天销量的ASIN 同步到线上库。

2）AI销量结果集（存预测未来60天数据）
字段：ASIN，站点，预测时间，预测销量，添加时间，更新时间。
数据来源：AI销量预测结果
数据更新频率：按AI训练模型产生结果时间进行更新。

2、新增任务查询接口根据ASIN+站点查询销量预测数据。
操作位置：AI销量预测查询接口；用于erp 等系统预测销量。
输入：ID，ASIN，站点，预测开始时间，预测截止时间
输出：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。

3.新增推送数据到MQ：
操作位置：AI 销量预测（存请求数据）--》查询MQ
推送逻辑：将AI没有返回预测结果的请求数据推送给MQ，用于跑销量预测。
推送字段：ID，ASIN，站点，预测开始时间，预测截止时间

4.新增反写接口，反写AI匹配完成后的数据
操作位置：【销量预测服务（GPU运算）】将结果反写回【AI销量结果集（存结果数据）】
反写逻辑：新增反写接口，根据数据id反写AI匹配完成后的数据：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。

注：AI销量预测线上服务需找系统部王锦一同协助完成。

三、验收标准
1、支撑批量ASIN销量预测查询。
2、整体请求响应速度在30ms之内。

需求描述

验收标准

1、支撑批量ASIN销量预测查询。
2、整体请求响应速度在30ms之内。

历史记录

2024-03-06 08:30:31, 由商雷创建。
2024-03-12 15:54:57, 由 张家添 编辑。
修改了 任务描述，区别为：
001- 一、背景目前AI 销量预测模型已经输出，需搭建线上应用服务提供给其他系统进行使用。业务价值：AI销量预测预测服务，预估50000.验收人：商雷二、需求说明2.1、搭建AI销量预测服务流程：应用请求--》AI 销量预测（存请求数据）--》查询MQ--》AI销量预测服务（GPU运算）--》AI 销量预测库（存结果数据）1、新建AI 销量预测库，用于存请求数据与结果数据1）AI销量训练集字段：ASIN，站点，发货方式（1：FBA 2：FBM），付款时间，销量，listingID，渠道SKU，来源渠道ID，来源渠道名称，销售二级部门，SKU，SKU中文名称，SKU英文名称，添加时间，更新时间数据来源：将近2年内大于等于100天销量的ASIN导入训练集库（含亚马逊中心，有品有销量的ASIN）。数据更新频率：增量：每天早上0：00开始将将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】；用于AI训练集训练。全量：将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】，进行训练。注：目前训练集库存在bi库需将已有数据大于等于100天销量的ASIN 同步到线上库。2）AI销量结果集（存预测未来60天数据）字段：ASIN，站点，预测时间，预测销量，添加时间，更新时间。数据来源：AI销量预测结果数据更新频率：按AI训练模型产生结果时间进行更新。2、新增任务查询接口根据ASIN+站点查询销量预测数据。操作位置：AI销量预测查询接口；用于erp 等系统预测销量。输入：ID，ASIN，站点，预测开始时间，预测截止时间输出：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。3.新增推送数据到MQ：操作位置：AI 销量预测（存请求数据）--》查询MQ推送逻辑：将AI没有返回预测结果的请求数据推送给MQ，用于跑销量预测。推送字段：ID，ASIN，站点，预测开始时间，预测截止时间 4.新增反写接口，反写AI匹配完成后的数据操作位置：【销量预测服务（GPU运算）】将结果反写回【AI销量结果集（存结果数据）】反写逻辑：新增反写接口，根据数据id反写AI匹配完成后的数据：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。注：AI销量预测线上服务需找系统部王锦一同协助完成。三、验收标准1、支撑批量ASIN销量预测查询。2、整体请求响应速度在30ms之内。
001+ 一、背景目前AI 销量预测模型已经输出，需搭建线上应用服务提供给其他系统进行使用。业务价值：AI销量预测预测服务，预估50000.验收人：商雷二、需求说明2.1、搭建AI销量预测服务流程：应用请求--》AI 销量预测（存请求数据）--》查询MQ--》AI销量预测服务（GPU运算）--》AI 销量预测库（存结果数据）1、新建AI 销量预测库，用于存请求数据与结果数据1）AI销量训练集字段：ASIN，站点，发货方式（1：FBA 2：FBM），付款时间，销量，listingID，渠道SKU，来源渠道ID，来源渠道名称，销售二级部门，SKU，SKU中文名称，SKU英文名称，添加时间，更新时间数据来源：将近2年内大于等于100天销量的ASIN导入训练集库（含亚马逊中心，有品有销量的ASIN）。数据更新频率：增量：每天早上0：00开始将将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】；用于AI训练集训练。全量：将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】，进行训练。注：目前训练集库存在bi库需将已有数据大于等于100天销量的ASIN 同步到线上库。2）AI销量结果集（存预测未来60天数据）字段：ASIN，站点，预测时间，预测销量，添加时间，更新时间。数据来源：AI销量预测结果数据更新频率：按AI训练模型产生结果时间进行更新。2、新增任务查询接口根据ASIN+站点查询销量预测数据。操作位置：AI销量预测查询接口；用于erp 等系统预测销量。输入：ID，ASIN，站点，预测开始时间，预测截止时间输出：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。3.新增推送数据到MQ：操作位置：AI 销量预测（存请求数据）--》查询MQ推送逻辑：将AI没有返回预测结果的请求数据推送给MQ，用于跑销量预测。推送字段：ID，ASIN，站点，预测开始时间，预测截止时间4.新增反写接口，反写AI匹配完成后的数据操作位置：【销量预测服务（GPU运算）】将结果反写回【AI销量结果集（存结果数据）】反写逻辑：新增反写接口，根据数据id反写AI匹配完成后的数据：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。注：AI销量预测线上服务需找系统部王锦一同协助完成。三、验收标准1、支撑批量ASIN销量预测查询。2、整体请求响应速度在30ms之内。

001- 一、背景 目前AI 销量预测模型已经输出，需搭建线上应用服务提供给其他系统进行使用。 业务价值：AI销量预测预测服务，预估50000. 验收人：商雷 二、需求说明 2.1、搭建AI销量预测服务 流程：应用请求--》AI 销量预测（存请求数据）--》查询MQ--》AI销量预测服务（GPU运算）--》AI 销量预测库（存结果数据） 1、新建AI 销量预测库，用于存请求数据与结果数据 1）AI销量训练集 字段：ASIN，站点，发货方式（1：FBA 2：FBM），付款时间，销量，listingID，渠道SKU，来源渠道ID，来源渠道名称，销售二级部门，SKU，SKU中文名称，SKU英文名称，添加时间，更新时间 数据来源：将近2年内大于等于100天销量的ASIN导入训练集库（含亚马逊中心，有品有销量的ASIN）。 数据更新频率： 增量：每天早上0：00开始将将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】；用于AI训练集训练。 全量：将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】，进行训练。 注：目前训练集库存在bi库需将已有数据大于等于100天销量的ASIN 同步到线上库。 2）AI销量结果集（存预测未来60天数据） 字段：ASIN，站点，预测时间，预测销量，添加时间，更新时间。 数据来源：AI销量预测结果 数据更新频率：按AI训练模型产生结果时间进行更新。 2、新增任务查询接口根据ASIN+站点查询销量预测数据。 操作位置：AI销量预测查询接口；用于erp 等系统预测销量。 输入：ID，ASIN，站点，预测开始时间，预测截止时间 输出：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。 3.新增推送数据到MQ： 操作位置：AI 销量预测（存请求数据）--》查询MQ 推送逻辑：将AI没有返回预测结果的请求数据推送给MQ，用于跑销量预测。 推送字段：ID，ASIN，站点，预测开始时间，预测截止时间 4.新增反写接口，反写AI匹配完成后的数据 操作位置：【销量预测服务（GPU运算）】将结果反写回【AI销量结果集（存结果数据）】 反写逻辑：新增反写接口，根据数据id反写AI匹配完成后的数据：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。 注：AI销量预测线上服务需找系统部王锦一同协助完成。 三、验收标准 1、支撑批量ASIN销量预测查询。 2、整体请求响应速度在30ms之内。 
001+ 一、背景 目前AI 销量预测模型已经输出，需搭建线上应用服务提供给其他系统进行使用。 业务价值：AI销量预测预测服务，预估50000. 验收人：商雷 二、需求说明 2.1、搭建AI销量预测服务 流程：应用请求--》AI 销量预测（存请求数据）--》查询MQ--》AI销量预测服务（GPU运算）--》AI 销量预测库（存结果数据） 1、新建AI 销量预测库，用于存请求数据与结果数据 1）AI销量训练集 字段：ASIN，站点，发货方式（1：FBA 2：FBM），付款时间，销量，listingID，渠道SKU，来源渠道ID，来源渠道名称，销售二级部门，SKU，SKU中文名称，SKU英文名称，添加时间，更新时间 数据来源：将近2年内大于等于100天销量的ASIN导入训练集库（含亚马逊中心，有品有销量的ASIN）。 数据更新频率： 增量：每天早上0：00开始将将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】；用于AI训练集训练。 全量：将近2年内大于等于100天销量的ASIN 数据同步到【AI销量训练集库】，进行训练。 注：目前训练集库存在bi库需将已有数据大于等于100天销量的ASIN 同步到线上库。 2）AI销量结果集（存预测未来60天数据） 字段：ASIN，站点，预测时间，预测销量，添加时间，更新时间。 数据来源：AI销量预测结果 数据更新频率：按AI训练模型产生结果时间进行更新。 2、新增任务查询接口根据ASIN+站点查询销量预测数据。 操作位置：AI销量预测查询接口；用于erp 等系统预测销量。 输入：ID，ASIN，站点，预测开始时间，预测截止时间 输出：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。 3.新增推送数据到MQ： 操作位置：AI 销量预测（存请求数据）--》查询MQ 推送逻辑：将AI没有返回预测结果的请求数据推送给MQ，用于跑销量预测。 推送字段：ID，ASIN，站点，预测开始时间，预测截止时间 4.新增反写接口，反写AI匹配完成后的数据 操作位置：【销量预测服务（GPU运算）】将结果反写回【AI销量结果集（存结果数据）】 反写逻辑：新增反写接口，根据数据id反写AI匹配完成后的数据：ID，ASIN，站点，预测时间，预测销量，添加时间，更新时间。 注：AI销量预测线上服务需找系统部王锦一同协助完成。 三、验收标准 1、支撑批量ASIN销量预测查询。 2、整体请求响应速度在30ms之内。 
自测流程
1、全量服务
1.1、配置
```
SELECT * FROM `zhcxkj_autochoose`.`system_dictionary` WHERE `Type` = '165' ORDER BY `Id` DESC LIMIT 0,100
```
1.2、全量服务，将mysql表zhcxkj_autochoose》tmp_ai_sale_asin中数据按照Asin+站点维度，整理加入到AI处理队列，mongdb库zhcxkj_autochoose》AI_AsinPrediction_Queue。

当AI_AsinPrediction_Queue.SaleDays>=100的时候，状态Status记录为1（待推送），否则记录为0（不推送）。
```
db.getCollection("AI_AsinPrediction_Queue").find().limit(100).skip(200)
```
2、增量服务，将erp库》RB_Report_OrderSettlement同步数据到tmp_ai_sale_asin中，并且会处理“1.2”的推送队列
```
SELECT top 10
a.ID,
a.ASINorItemID AS 'ASIN',
b.OrderSourceCountry AS 'SiteCode',
a.PayDate,
a.ProductNum + a.ProdutNumUpdate  AS 'SaleNum',
a.SellerSKU AS 'OrderSourceSku',
a.OrderSourceID,
a.OrderSourceName,
CASE WHEN  f.DepartmentName != '亚马逊平台运营中心'  THEN f.DepartmentName ELSE e.DeptFullPathName END AS DepartmentName,
a.SKU,
g.ProductNameCN,
g.ProductName,
h.WareHouseType,
CASE WHEN  h.WareHouseType = 3  THEN 'FBA' ELSE '直发' END AS WareHouseTypeTxt 
FROM rb_report_ordersettlement (NOLOCK) AS a
LEFT JOIN rb_ordersource (NOLOCK) AS b ON  a.CustomerID = b.CustomerID  AND  a.OrderSourceID = b.ID 
LEFT JOIN rb_admin (NOLOCK) AS d ON  a.CustomerID = d.CustomerID  AND  b.SaleAdminID = d.ID 
LEFT JOIN rb_department (NOLOCK) AS e ON  a.CustomerID = e.CustomerID  AND  d.DepartmentID = e.ID 
LEFT JOIN rb_department (NOLOCK) AS f ON  a.CustomerID = f.CustomerID  AND  e.ParentID = f.ID 
LEFT JOIN rb_product (NOLOCK) AS g ON  a.CustomerID = g.CustomerID  AND  a.SKU = g.SKU 
LEFT JOIN rb_warehouse (NOLOCK) AS h ON  a.CustomerID = h.CustomerID  AND  a.WareHouseID = h.ID  
WHERE a.CustomerID = 1 AND a.OrderCode != '' AND  a.PayDate = '2024-02-28' AND  a.OrderStatus != 2  AND  a.OrderSourceType = 1  
and a.ID>0
order by a.ID asc
```
避免数据混乱，只有全量完成后，才可以执行增量，全量的配置执行完了配置中IsOver=true，增量也会有这个判断，增量查询erp库是以天的维度进行同步的，StartTime是要同步的日期，为空，会默认从“2024-02-28”开始

3、将AI_AsinPrediction_Queue中Status=1的数据，推送到消息队列，推送到队列状态改为2，消息队列处理完成后调用接口/AsinPrediction/Save进行保存，队列的状态改为3
```
{
 "asin": "B0CQK5S16N",
 "siteCode": "US",
 "items": [
 {
 "predictionTime": "2024-03-11",
 "predictionSale": 11
 },
{
 "predictionTime": "2024-03-12",
 "predictionSale": 12
 },
{
 "predictionTime": "2024-03-13",
 "predictionSale": 13
 }
 ],
 "id": "65f0025db17a96d19ad3b3c6"
}
```
3.1、调用接口/AsinPrediction/GetPredictions，可查询销量预测，也就是上面保存的数据
2024-03-13 17:27:51, 由 张家添 添加备注。

1、大致流程

2、服务，搜索AsinPrediction，服务也是由上而下依次执行

3、今天新增了一个检测AI相似品的流程，预售服务查询接口也改变，出入参都有变化
入参
{
"asin": "B09G6SN78B",
"siteCode": "US",
"id": "65f11e206a6b6c60b41d112e"
}

出参

{
"data": {
"SaleList": [["B09G6SN78B", "US", "2022-12-27 00:00:00", 1], ["B09G6SN78B", "US", "2023-03-18 00:00:00", 1], ["B09G6SN78B", "US", "2023-04-14 00:00:00", 1]],
"AlikeModel": {
"Asin": "B09G6SVSF2",
"SaleList": [["B09G6SVSF2", "US", "2022-04-21 00:00:00", 1], ["B09G6SVSF2", "US", "2022-08-31 00:00:00", 1], ["B09G6SVSF2", "US", "2022-11-08 00:00:00", 1], ["B09G6SVSF2", "US", "2023-01-03 00:00:00", 1], ["B09G6SVSF2", "US", "2023-03-07 00:00:00", 1], ["B09G6SVSF2", "US", "2023-08-29 00:00:00", 3], ["B09G6SVSF2", "US", "2023-10-12 00:00:00", 3], ["B09G6SVSF2", "US", "2023-10-13 00:00:00", 4], ["B09G6SVSF2", "US", "2023-10-24 00:00:00", 1], ["B09G6SVSF2", "US", "2023-12-16 00:00:00", 1], ["B09G6SVSF2", "US", "2024-01-10 00:00:00", 1], ["B09G6SVSF2", "US", "2024-01-26 00:00:00", 1], ["B09G6SVSF2", "US", "2024-02-05 00:00:00", 1], ["B09G6SVSF2", "US", "2024-02-21 00:00:00", 2]],
"MaxDate": "2024-02-21 00:00:00",
"MinDate": "2022-04-21 00:00:00",
"Days": 671
},
"Asin": "B09G6SN78B",
"SiteCode": "US"
},
"status": "success",
"message": ""
}
2024-03-13 17:39:27, 由 张家添 完成。
修改了 总计消耗，旧值为 "0"，新值为 "27"。
修改了 指派给 ，旧值为 "zhangjiatian"，新值为 "shanglei"。
修改了 实际完成，旧值为 ""，新值为 "2024-03-13 17:37:58"。
修改了 任务状态，旧值为 "wait"，新值为 "done"。
修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2024-03-13 17:39:27"。
修改了 预计剩余，旧值为 "15"，新值为 "0"。
修改了 由谁完成，旧值为 ""，新值为 "zhangjiatian"。

1、项目：Zhcxkj.AutoChoose.Worker，Zhcxkj.AutoChoose.Api，Zhcxkj.Erp.Api
2、mongdb自动加表
3、核心代码
2024-03-14 08:45:50, 由商雷编辑。
修改了 所属模块，旧值为 "1699"，新值为 "0"。
修改了 最初预计，旧值为 "15"，新值为 "24"。
2024-03-14 08:46:33, 由商雷编辑。
修改了 所属模块，旧值为 "0"，新值为 "1699"。
2024-03-26 20:00:02, 由 梁秀丽 编辑。
修改了 最初预计，旧值为 "24"，新值为 "25"。
2024-05-23 15:31:42, 由商雷关闭。
修改了 任务状态，旧值为 "done"，新值为 "closed"。
修改了 指派给 ，旧值为 "shanglei"，新值为 "closed"。
修改了 由谁关闭，旧值为 ""，新值为 "shanglei"。
修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2024-05-23 15:31:42"。
修改了 关闭原因，旧值为 ""，新值为 "done"。

基本信息
任务的一生

所属迭代	智能中心-智能选品迭代
所属模块	智能中心-需求池战略独立项目智能选品
相关需求	AI 销量预测基础服务
指派给	Closed 于 2024-05-23 15:31:42
任务类型	后端
任务标签	初始
开发组
任务状态	已关闭
进度	100%
优先级	P0
关键词
抄送给

由谁创建	商雷于 2024-03-06 08:30:30
由谁完成	张家添于 2024-03-13 17:37:58
由谁取消	暂无
由谁关闭	商雷于 2024-05-23 15:31:42
关闭原因	已完成
最后编辑	商雷于 2024-05-23 15:31:42

团队	最初预计	总计消耗	预计剩余

工时信息

最初预计	25工时
总计消耗	27工时
预计剩余	0工时
预计开始	2024-03-06
实际开始	2024-03-13
截止日期	2024-03-31