任务描述
需求描述
1.需求背景
验证发现产品中文标题存在过滤掉核心关键词的情况,需要标题全部重新采集回来给到供应链重新处理一遍,同时验证采购价是否和现在的价格变化情况
2.需求内容
a.定时增量通过接口获取SKU的产品中文标题和价格(一天一次),增量根据终身时间采集数据,需初始化历史所有数据(只针对真实SKU)

b.所有中文标题分词,用阿里工具命名实体识别,分词,存储并导出数据,导出字段包含:词组、出现次数、词性
前台功能:https://nlp.aliyun.com/portal#/Named_Entity_Recognition
接口文档:https://help.aliyun.com/document_detail/177223.html

验收标准
暂无
已刷的SKU SQL:
SELECT pc.SKU,
pa.SupplierUrl
FROM dbo.RB_Product_AutoChoose_BatchPrice pc WITH (NOLOCK)
INNER JOIN dbo.RB_Product p WITH (NOLOCK)
ON pc.SKU = p.SKU
AND p.IsGroup = 0
INNER JOIN RB_Product_AutoChooseData pa WITH (NOLOCK)
ON pc.SKU = pa.SKU
GROUP BY pc.SKU,
pa.SupplierUrl
ORDER BY CONVERT(INT, pc.SKU) ASC ;