需求背景：封装分词器接口，用于相同字符查重
需求实现：
入参为文本，出参为分词后的词组
具体代码参考：
from sudachipy import tokenizer
from sudachipy import dictionary
# 创建 tokenizer 对象，使用默认字典
tokenizer_obj = dictionary.Dictionary().create()
# 输入的日语文本
text = "今日はいい天気ですね。"
# A 模式（粗分模式）
# B 模式（中等分模式）
# C 模式（细分模式）
mode = tokenizer.Tokenizer.SplitMode.B
list = [m.surface() for m in tokenizer_obj.tokenize(text, mode)]
print(list)
| 提报业务部门 | 智能研发中心 |
|---|---|
| 提报人员 | 戴宝山 |
| 需求来源 | 年度重点项目&需求 |
| 所属模块 | 战略独立项目 智能刊登 |
| 所属计划 |
|
| 开发组 | |
| 受益业务部门 | 智能研发中心 |
| 验收人员 | 徐格格 |
| 业务价值 | 提高收入 |
| 每月价值量 | 10000 |
| 每月节省人数 | 8 |
| 优先级 | P2 |
| 价值类型 | 长期价值 |
| 预计工时 | 7 |
| 成本 | 3500 |
| ROI | 17.14 |
| 操作手册 | 否 |
| 更新点 | |
| 是否高危 | 否 |
| 评分 | |
| 当前状态 | 已关闭 |
| 所处阶段 | 已关闭 |
| 关键词 | |
| 计划上线 | 2025-04-01 |
| 上线时间 | 2025-04-01 |
| 计划验收时间 | 2025-04-11 |
| 业务验收时间 | 2025-04-09 15:40:44 |
| 满意度 | 满意 |
| 价值验收 | 基本达成 |
| 满意度分值 | 80 |
| 业务回填价值 | |
| 验收达成价值 | 48000.0 |
| 验收达成ROI | 13.71 |
| 由谁创建 | 戴宝山 于 2025-03-14 19:02:39 |
|---|---|
| 指派给 | Closed 于 2025-07-08 19:41:37 |
| 由谁评审 | 徐盛松 |
| 评审时间 | 2025-03-17 |
| 由谁关闭 | 李亚婷 于 2025-04-09 16:02:29 |
| 关闭原因 | 已完成 |
| 最后修改 | 李亚婷 于 2025-07-08 19:41:37 |