一、背景
背景：目前发现敏感词库（商标，禁售词，禁售品词）存在一定的误差，需要知产这边进行设置高危词等
痛点：知产设置关键词不知道会影响多少listing，需系统进行介入将所有在线亚马逊listing 所属标题、关键词、亮点、描述字段 进行高频关键词提取。
业务价值：建立检索关键词基础库，统计关键词影响面做基础。


关键词使用频率高的关键词，知产组人工介入判断是否有风险
--思路：先通过高频词进行清洗出实际使用的关键词，需将高频词给到知产进行确认。


二、需求说明
2.1、统计亚马逊在线listing 资料所属高频关键词
针对amazon英语站点在线listing对应的标题、关键词、亮点、描述字段（后期会拓展到产品库，其他平台）统计关键词维度使用次数、涉及SKU数、亚马逊listing数。

1、统计范围：英文站点："US", "GB", "CA", "AU", "IN", "AE", "SG", "SA"

2、功能：用词频统计功能将在线listing对应的原文标题、原文关键词、原文亮点、原文描述字段分词得到【1个单词高频词】、【2个单词高频词】、【3个单词高频词】，增量服务。

3、输出数据：
1）总表：高频关键词，使用（出现）次数，组合SKU个数，非组合SKU个数，亚马逊listing数。
2）明细：高频关键词，SKU，渠道SKU，ASIN，原文标题出现个数，原文关键词出现个数，原文亮点出现个数，原文描述出现个数。

注：1、所有在线的listing都需要进行统计高频词，数据增量存储用于数据分析。2、预估上百亿的数据，需考虑性能问题及存储问题。

一、背景
背景：目前发现敏感词库（商标，禁售词，禁售品词）存在一定的误差，需要知产这边进行设置高危词等
痛点：知产设置关键词不知道会影响多少listing，需系统进行介入将所有在线亚马逊listing 所属标题、关键词、亮点、描述字段 进行高频关键词提取。
业务价值：建立检索关键词基础库，统计关键词影响面做基础。


关键词使用频率高的关键词，知产组人工介入判断是否有风险
--思路：先通过高频词进行清洗出实际使用的关键词，需将高频词给到知产进行确认。


二、需求说明
2.1、统计亚马逊在线listing 资料所属高频关键词
针对amazon英语站点在线listing对应的标题、关键词、亮点、描述字段（后期会拓展到产品库，其他平台）统计关键词维度使用次数、涉及SKU数、亚马逊listing数。

1、统计范围：英文站点："US", "GB", "CA", "AU", "IN", "AE", "SG", "SA"

2、功能：用词频统计功能将在线listing对应的原文标题、原文关键词、原文亮点、原文描述字段分词得到【1个单词高频词】、【2个单词高频词】、【3个单词高频词】，增量服务。

3、输出数据：
1）总表：高频关键词，使用（出现）次数，组合SKU个数，非组合SKU个数，亚马逊listing数。
2）明细：高频关键词，SKU，渠道SKU，ASIN，原文标题出现个数，原文关键词出现个数，原文亮点出现个数，原文描述出现个数。

注：1、所有在线的listing都需要进行统计高频词，数据增量存储用于数据分析。2、预估上百亿的数据，需考虑性能问题及存储问题。