需求背景：拓展SKU流量来源。
需求内容：
一、新增一个任务表，由业务指定数据，字段包括：站点、SKU、ASIN、添加时间（前半部分为业务写入字段，后面为回写字段）Alexa竞品采集完成时间、Alexa关键词采集完成时间、标题分词下拉词采集完成时间、状态
一、新增一个采集服务处理，针对业务的任务进行采集，步骤如下：
2、Alexa竞品：通过Alexa 询问 采集推荐10个竞品（用买家账号）参考需求：https://pm.zhcxkj.com/zentao/story-view-35563.html
3、标题分词下拉词：针对自有产品和 10 个竞品的标题，进行连续 2~5 gram 拆分。https://completion.amazon.com/api/2017/suggestions?limit=11&prefix={
关键词}
4、Alexa 关键词：针对自有产品和 10 个推荐竞品，分别向 Alexa 提问，每个产品采集约 100 个关键词。
5、收录占比：将所有关键词通过 Amazon 搜索页验证目标 ASIN/竞品 ASIN 是否收录：https://www.amazon.com/s?page=7&i=&k={keyword}&field-asin={ASIN1|ASIN2|...|ASIN10}
，输出字段：keyword、验证 ASIN 数、收录 ASIN 数、收录占比
6、自然占坑比：通过 Amazon 搜索页获取自然搜索结果：https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords={keyword}
，输出字段：keyword、top3 命中数、top8 命中数、top16 命中数、top48 命中数、前 48 位占坑比
三、后端处理部分，将采集采集到的竞品和关键词数据进行处理。
7、关键词和竞品通过筛选收录占比和自然坑位占比后（标准待定），竞品跑原有竞品库筛选逻辑后入竞品库，关键词入关键词表新增一个alexa关键词明细表，要记录爬虫采集的关键词明细信息，步骤五和步骤6的输出字段），同时针对关键词跑初筛文本相似度1：similary: all-MiniLM-L6-V1+文本相似度2：embedding: bge-large-en-v1.5+文本相似度3：rerank: bge-rerank-large 、精筛；
8、关键词根据当前汇总逻辑写入关键词汇总表
风险：目前 Alexa 买家账号采集、Amazon 搜索页收录/自然坑位验证都可能受到账号、频率、验证码、地区环境影响，需要产品侧明确采集频率、失败重试、异常状态和人工兜底机制。
验收标准：每天执行5w任务站点、SKU、ASIN
域名：
下拉词：
https://completion.{下拉词域名}/api/2017/suggestions?limit=11&prefix={keyword}
收录占比：
https://www.{搜索域名}/s?page=7&i=&k={keyword}&field-asin={ASIN1|ASIN2|...|ASIN10}
自然占坑：
https://www.{搜索域名}/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords={keyword}
2~5 gram拆分代码参考：
words = clean(title).split()
for n in range(2, 6):
for i in range(len(words) - n + 1):
seed = " ".join(words[i:i+n])
参考一下