需求背景:特征服务后续需要增加小语种,但是ABA词可能存在非该站点语言的关键词,这种词语放在标题中可能会引起投诉,需要过滤。但是目前我们并没有较好的语种识别能力,需要借助开源的服务来识别。
需求实现:
1.使用ChatGPT做语种识别,需要识别的关键词需要标注序号,同时分行,如下所示:

命令的文案:Here is one title per line. What language are these titles? List the titles and languages one by one per line.
语种的分隔符 目前发现包括 -和(),两种都需要兼容,如果测试过程中发现新的需要继续兼容。
2.封装一个语种识别接口,接口入参为原词(list),返回原词列表及对应语种