需求背景:调整智能刊登ST组装逻辑
需求实现:
1、实现一个ST生成词根的方法,供各业务使用
生成逻辑:
在原关键词逻辑的基础上做调整,从出单词表中获取的关键词(70%的长度),全部拆成词根形式,步骤为
a、将所有关键词拆成单词
b、将所有单词做词形还原,接口见这个需求http://pm.zhcxkj.com/zentao/story-view-19438.html
c、去除无意义的词,具体范围见无意义词列表(保存在一个业务表中,后续方便数据导入)
d、去重并统计出现次数
e、根据出现次数倒序
f、获取的特征服务词(30%长度),每间隔五个词根,随机插入一个特征服务的关键词
2、智能刊登关键词组装规则全量修改为这个逻辑
无意义词列表:
'o', "'s", 'echter', 'cl', 'par', 'do', 'ft', 'few', 'any', 'ej', 'cet', 'bunun', 'bb', 'aussi', 'en', 'ett', 'İş', 'ss', 'un', 'för', 'ca', 'ama', 'than', 'pe', 'während', 'about', 'ot', 'ko', 'qr', 'me', 'aç', 'fu', 'göre', 'att', 'same', 'ic', 'kn', 'oder', 'just', 'you', 'comme', 'fé', 'er', 'bh', 'keiner', 'por', 'tak', 'nd', 'per', 'fuer', 'hz', 'omdat', 'but', 'm8', 'e', 'pcs', 'mr', 'zu', 'pc', 'ba', 'una', 'esso', 'pá', 'kg', 'ao', 'だから', 'nu', 'étant', 'such', 'for', 'fuera', 'rv', 'keines', 'zonder', 'jednak', 'uç', 'onun', 'så', 'z', 'and', '7w', 'över', 'jk', 'sido', 'us', 'fr', 'ml', 'pour', 'für', 'lt', 'av', 'a', 'ar', 'is', 'si', 'les', 'iç', 'olmasına', 'over', 'om', 'wenn', 'na', 'ów', 'ため', 'more', 'come', 'een', 'zoals', 'être', 'door', 'am', 'ainsi', 'an', 'bu', 'fora', 'これ', 'ut', 'out', 'ein', 'unos', 'gdy', 'ge', 'that', 'been', 'fakat', 'e7', 'para', 'porque', 'som', 'だが', 'isso', 'der', 'sobre', 'och', 'dat', 'siendo', 'lub', 'lecz', 'sz', 'dj', 'eller', 'utan', 'both', 'gli', 'ou', 'ab', 'dass', 'el', 'ma', 'doch', 'sur', 'nó', 'im', 'che', 'not', 'のように', 'この', 'będąc', 'だけど', 'of', 'uno', 'cm', 'then', 'mi', 'sino', 'ho', 'på', 'in', 'gr', 'uk', 'with', 'cela', 'go', 'du', 'essa', 'pé', 'também', 'where', 'auf', 'y', 'bij', 'que', 'eftersom', 'men', 'で', 'no', 'essere', 'um', 'cd', 'my', 'ie', 'i', 'vs', 'några', 'keine', 'uma', 'だって', 'if', 'eines', 'too', 'essendo', 'los', 'fa', 'ii', 'are', 'il', 'şunun', 'to', 'się', 'za', '4d', 'con', 'it', 'das', 'et', 'ni', 'mm', 'bis', 'die', 'sd', 'other', 'com', 'ib', 'co', 'by', 're', 'ponieważ', 'a4', 'de', 'または', 'così', 'sommige', 'tv', 'rn', 'ih', 'alguns', 'unas', 'à', 'very', 'g8', 'da', 'como', 'algumas', 'pero', 'te', 'avec', 'med', 'bevor', 'veya', 'want', 'durch', 'ob', 'perché', 'op', 's', 'ed', 'on', 'jedno', 'ei', 'ne', 'most', 'también', 'ki', 'ook', 'anche', 'に', 'g4', 'unter', 'pues', 'elle', 'kein', 'seit', 'でも', 'the', 'ön', 'so', 'bo', 'bowiem', 'las', 'van', 'st', 'tamto', 'some', 'aber', 'oz', 'über', 'once', 'se', 'bunlar', 'gm', 'fe', 'can', 'each', 'ys', 'donc', 'should', 'ile', 'aus', 'voor', 'eine', 'mg', 'pz', 'från', 'till', 'çünkü', 'tf', 'pois', 'quindi', 'su', 'genom', 'di', 'buna', 'しかし', 'la', 'quello', 'sy', 't', 'w', 'uit', 'when', 'all', 'ez', 've', 'pu', 'mais', 'id', 'där', 'tå', 'あれ', 'även', 'así', 'lo', 'os', 'şu', 'wu', 'det', 'em', 'before', 'den', 'sendo', 'm', 'nel', 'été', 'hu', 'için', 'sondern', 'or', 'a6', 'being', 'jak', 'jeden', 'zum', 'ac', 'het', 'how', 'assim', 'gibi', 'jedna', 'lu', 'up', 'iz', 'von', 'del', 'maar', 'rc', 'rağmen', 'bazı', 'ad', 'xo', 'bn', 'ph', 'als', 'ze', 'üç', 'from', 'wc', 'lb', 'bir', 'after', 'al', 'iş', 'einer', 'いくつか', 'それ', 'fuori', 'off', 'dla', 'ohne', 'onder', 'neben', 'どうして', 'g9', 'weil', 'why', 'a2', 'au', 'le', 'there', 'now', 'あの', 'ser', 'nach', 'då', 'only', 'gegen', 'keinem', 'dans', 'here', 'denn', 'nor', 'nella', 'być', 'té', 'przez', 'met', 'f1', 'own', 'birkaç', 'lã', 'einem', 'stato', 'po', 'be', 'ay', 'mas', 'ello', 'g7', 'as', '4a', 'at', 'und', 'your', 'under', 'ağ', 'その', 'と', 'ale', 'h0', 'will', 'vid', 'było', 'hors', 'bei', 'mit', 'entlang', 'dus'
