任务描述
需求描述
需求背景：封装分词器接口，用于相同字符查重
需求实现：
入参为文本，出参为分词后的词组
具体代码参考：
from sudachipy import tokenizer
from sudachipy import dictionary
# 创建 tokenizer 对象，使用默认字典
tokenizer_obj = dictionary.Dictionary().create()
# 输入的日语文本
text = "今日はいい天気ですね。"
# A 模式（粗分模式）
# B 模式（中等分模式）
# C 模式（细分模式）
mode = tokenizer.Tokenizer.SplitMode.B
list = [m.surface() for m in tokenizer_obj.tokenize(text, mode)]
print(list)
验收标准
暂无
http://amz-pic-download.zhcxkj.com/JapaneseSegmenter
{
"Text": [
"今日はいい天気ですね。",
"ヘッドホン スタンド ソニー",
"ledフルカラー回転式ランプ",
"インデックスクリップ"
]
}