TASK#27191 新增定时采集服务，采集系统SKU对应1688的中文标题和价格 / 智能中心-智能选品迭代

任务描述

需求描述

1.需求背景

验证发现产品中文标题存在过滤掉核心关键词的情况，需要标题全部重新采集回来给到供应链重新处理一遍，同时验证采购价是否和现在的价格变化情况

2.需求内容

a.定时增量通过接口获取SKU的产品中文标题和价格（一天一次），增量根据终身时间采集数据，需初始化历史所有数据（只针对真实SKU）

b.所有中文标题分词，用阿里工具命名实体识别，分词，存储并导出数据，导出字段包含：词组、出现次数、词性

前台功能：https://nlp.aliyun.com/portal#/Named_Entity_Recognition

接口文档：https://help.aliyun.com/document_detail/177223.html

验收标准

暂无

历史记录

2022-06-11 15:13:28, 由 罗友军 创建。
2022-06-11 17:00:31, 由 zhubin 添加备注。
2022-06-13 12:15:21, 由 zhubin 添加备注。

DROP TABLE IF EXISTS RB_Product_AutoChooseData;
CREATE TABLE RB_Product_AutoChooseData(
CustomerId INT COMMENT '商户号' ,
SKU VARCHAR(255) COMMENT '系统SKU' ,
SupplierUrl VARCHAR(255) COMMENT '供应商URL' ,
ProductNameCN VARCHAR(255) COMMENT '产品中文名称' ,
Status INT COMMENT '状态;(1采集成功 2采集失败 3 分析成功 4 分析失败)' ,
AddTime DATETIME COMMENT '创建时间' ,
UpdateTime DATETIME COMMENT '更新时间'
) COMMENT = '选品SKU数据分析';

DROP TABLE IF EXISTS RB_Dictionary;
CREATE TABLE RB_Dictionary(
Id INT NOT NULL COMMENT '记录ID，自增ID' ,
ParentId INT COMMENT '父级ID' ,
Type INT COMMENT '类型' ,
TypeName VARCHAR(255) COMMENT '类型名称' ,
Name VARCHAR(255) COMMENT '名称' ,
NameEn VARCHAR(255) COMMENT '英文名称' ,
Value VARCHAR(900) COMMENT '值' ,
Sort VARCHAR(255) NOT NULL COMMENT '排序，默认0' ,
IsActive INT NOT NULL COMMENT '是否激活，默认1' ,
AddTime DATETIME NOT NULL COMMENT '创建时间' ,
UpdateTime DATETIME COMMENT '更新时间' ,
PRIMARY KEY (Id)
) COMMENT = '字典表';

DROP TABLE IF EXISTS RB_Product_AutoChoose_BatchPrice;
CREATE TABLE RB_Product_AutoChoose_BatchPrice(
Id INT NOT NULL AUTO_INCREMENT COMMENT '主键Id' ,
SKU VARCHAR(255) NOT NULL COMMENT '系统SKU' ,
BeginNum INT NOT NULL COMMENT '批量起始值' ,
EndNum INT NOT NULL COMMENT '批量最大值' ,
BatchPrice DECIMAL(24,6) NOT NULL COMMENT '批量价格' ,
AddTime DATETIME NOT NULL COMMENT '创建时间' ,
UpdateTime DATETIME COMMENT '更新时间' ,
PRIMARY KEY (Id)
) COMMENT = '选品SKU批发价';
2022-06-13 16:38:04, 由 zhubin 添加备注。

API采集业务逻辑部分代码实现：
2022-06-14 08:46:13, 由 zhubin 添加备注。

SQLServer库脚本

-- irobotbox.dbo.RB_Product_AutoChooseData definition

-- Drop table

-- DROP TABLE irobotbox.dbo.RB_Product_AutoChooseData;

CREATE TABLE irobotbox.dbo.RB_Product_AutoChooseData (
CustomerId int NULL,
SKU varchar(255) COLLATE Chinese_PRC_CI_AS NULL,
SupplierUrl varchar(255) COLLATE Chinese_PRC_CI_AS NULL,
ProductNameCN varchar(255) COLLATE Chinese_PRC_CI_AS NULL,
Status int NULL,
AddTime datetime NULL,
UpdateTime datetime NULL,
Id int IDENTITY(0,1) NOT NULL
);

-- Extended properties

EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'选品SKU数据分析', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'商户号', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'CustomerId';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'系统SKU', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'SKU';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'供应商URL', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'SupplierUrl';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'产品中文名称', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'ProductNameCN';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'状态;(1采集成功 2采集失败 3 分析成功 4 分析失败)', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'Status';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'创建时间', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'AddTime';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'更新时间', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'UpdateTime';

EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'主键Id', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChooseData', @level2type=N'Column', @level2name=N'Id';

-- irobotbox.dbo.RB_Product_AutoChoose_BatchPrice definition

-- Drop table

-- DROP TABLE irobotbox.dbo.RB_Product_AutoChoose_BatchPrice;

CREATE TABLE irobotbox.dbo.RB_Product_AutoChoose_BatchPrice (
Id int IDENTITY(1,1) NOT NULL,
SKU varchar(255) COLLATE Chinese_PRC_CI_AS NOT NULL,
BeginNum int NOT NULL,
EndNum int NOT NULL,
BatchPrice decimal(24,6) NOT NULL,
AddTime datetime NOT NULL,
UpdateTime datetime NULL,
CONSTRAINT PK__RB_Produ__3214EC07D2F94102 PRIMARY KEY (Id)
);

-- Extended properties

EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'主键Id', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'Id';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'系统SKU', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'SKU';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'批量起始值', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'BeginNum';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'批量最大值', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'EndNum';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'批量价格', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'BatchPrice';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'创建时间', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'AddTime';
EXEC irobotbox.sys.sp_addextendedproperty @name=N'MS_Description', @value=N'更新时间', @level0type=N'Schema', @level0name=N'dbo', @level1type=N'Table', @level1name=N'RB_Product_AutoChoose_BatchPrice', @level2type=N'Column', @level2name=N'UpdateTime';
2022-06-14 15:01:57, 由 zhubin 添加备注。

IF EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[RB_Product_AutoChooseNER]') AND type in (N'U')) DROP TABLE [dbo].[RB_Product_AutoChooseNER];
CREATE TABLE [dbo].[RB_Product_AutoChooseNER](
SKU VARCHAR(50),
TagName VARCHAR(50),
Word VARCHAR(255),
Weight DECIMAL(24,6),
Synonym VARCHAR(50),
AddTime DATETIME,
UpdateTime DATETIME
);

EXEC sp_addextendedproperty 'MS_Description', '选品SKU命名实体识别', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, null, null;
EXEC sp_addextendedproperty 'MS_Description', '系统SKU', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', SKU;
EXEC sp_addextendedproperty 'MS_Description', '词性', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', TagName;
EXEC sp_addextendedproperty 'MS_Description', '单词', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', Word;
EXEC sp_addextendedproperty 'MS_Description', '比例', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', Weight;
EXEC sp_addextendedproperty 'MS_Description', '代名词', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', Synonym;
EXEC sp_addextendedproperty 'MS_Description', '创建时间', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', AddTime;

EXEC sp_addextendedproperty 'MS_Description', '更新时间', 'SCHEMA', dbo, 'table', RB_Product_AutoChooseNER, 'column', UpdateTime;
2022-06-15 09:01:24, 由 zhubin 添加备注。

两个服务代码已全部写完，需要连接线上数据库进行单元测试验证服务结果：
2022-06-15 10:28:19, 由 zhubin 添加备注。
2022-06-15 10:45:25, 由 zhubin 添加备注。

队列字典这里，到时候初始化一个Type值为1001的
2022-06-15 15:50:06, 由 zhubin 完成。
修改了 总计消耗，旧值为 "0"，新值为 "20"。
修改了 指派给 ，旧值为 "zhubin"，新值为 "luoyoujun"。
修改了 实际完成，旧值为 ""，新值为 "2022-06-15 15:50:01"。
修改了 任务状态，旧值为 "wait"，新值为 "done"。
修改了 实际开始，旧值为 "0000-00-00 00:00:00"，新值为 "2022-06-15 15:50:06"。
修改了 预计剩余，旧值为 "20"，新值为 "0"。
修改了 由谁完成，旧值为 ""，新值为 "zhubin"。
2022-06-15 15:51:41, 由 zhubin 添加备注。

insert into RB_Dictionary([Type],TypeName ,Value,Sort,IsActive,AddTime)
values (1001,'API采集队列','{
"StartDate": "2001-01-01",
"EndDate": "2001-02-01"
}',1,1,getdate())
2022-08-25 10:44:12, 由 罗友军 关闭。
修改了 任务状态，旧值为 "done"，新值为 "closed"。
修改了 指派给 ，旧值为 "luoyoujun"，新值为 "closed"。
修改了 由谁关闭，旧值为 ""，新值为 "luoyoujun"。
修改了 关闭时间，旧值为 "0000-00-00 00:00:00"，新值为 "2022-08-25 10:44:12"。
修改了 关闭原因，旧值为 ""，新值为 "done"。

基本信息
任务的一生

所属迭代	智能中心-智能选品迭代
所属模块	智能中心-需求池战略独立项目智能选品
相关需求	新增定时采集服务，采集系统SKU对应1688的中文标题和价格
指派给	Closed 于 2022-08-25 10:44:12
任务类型	后端
任务标签	初始
开发组
任务状态	已关闭
进度	100%
优先级	P2
关键词
抄送给

由谁创建	罗友军于 2022-06-11 15:13:28
由谁完成	zhubin 于 2022-06-15 15:50:01
由谁取消	暂无
由谁关闭	罗友军于 2022-08-25 10:44:12
关闭原因	已完成
最后编辑	罗友军于 2022-08-25 10:44:12

团队	最初预计	总计消耗	预计剩余

工时信息

最初预计	20工时
总计消耗	20工时
预计剩余	0工时
预计开始	0000-00-00
实际开始	2022-06-15
截止日期	0000-00-00