背景:词频统计需要支持中文拆解统计,用于SKU中文标题 高频词统计。
业务价值:中文高频词统计基础支撑。
二、需求说明
2.1、词频统计支持中文拆解统计
1、词频统计新增语种下拉框,默认英文语种,见原型
2、页面改造:一个单词 改为【一个(单)词 】,两个单词 改为【两个(单)词 】,三个单词 改为【三个(单)词 】。
3、拆解逻辑:1)将输入的中文拆解成 一个词,两个词,三个词。2)若输入的中文中含有其他语种则将其他语种单独拆开,去掉空格。
eg: 这是一台iphone ; 按一个词拆解结果: 这,是,一,台,iphone
4、输入查询逻辑:若未选择语种,则按字节默认进行拆分;若选择语种,则拆分时只统计该语种部分,按对应语种进行拆分。
