需求背景：封装分词器接口，用于相同字符查重

需求实现：

入参为文本，出参为分词后的词组

具体代码参考：

from sudachipy import tokenizer
from sudachipy import dictionary

# 创建 tokenizer 对象，使用默认字典
tokenizer_obj = dictionary.Dictionary().create()

# 输入的日语文本
text = "今日はいい天気ですね。"

# A 模式（粗分模式）
# B 模式（中等分模式）
# C 模式（细分模式）
mode = tokenizer.Tokenizer.SplitMode.B

list = [m.surface() for m in tokenizer_obj.tokenize(text, mode)]
print(list)

需求背景：封装分词器接口，用于相同字符查重

需求实现：

入参为文本，出参为分词后的词组

具体代码参考：

from sudachipy import tokenizer
from sudachipy import dictionary

# 创建 tokenizer 对象，使用默认字典
tokenizer_obj = dictionary.Dictionary().create()

# 输入的日语文本
text = "今日はいい天気ですね。"

# A 模式（粗分模式）
# B 模式（中等分模式）
# C 模式（细分模式）
mode = tokenizer.Tokenizer.SplitMode.B

list = [m.surface() for m in tokenizer_obj.tokenize(text, mode)]
print(list)