一、存储调整
1、竞品库(zhcxkj_bi.amazon_external_externalnew_asin)需新建字段"isContentUpdate",默认值是false,代表本次更新竞品标题、五点、描述是否有变化,
采集时如果isContentUpdate=false,且当前采集到的标题,五点,描述任意一个有更新,这个字段改成true,其他情况都不改变这个字段的值
2、竞品库(zhcxkj_bi.amazon_external_externalnew_asin)新增字段"NotSaleTime",默认为空,不在售时间,
采集时如果竞品为不在售,并且该字段为空,则更新“NotSaleTime”为当前时间
采集时如果竞品为不在售,并且该字段不为空,则不更新“NotSaleTime”,
采集时如果竞品为在售,则把该字段设置成空,
删除超3个月不在售数据,即NotSaleTime日期距今超三个月
3、竞品有重新采集的时候需要更新更新时间,即使没有字段更新也需要刷新
二、任务数据来源
筛选逻辑:
对竞品ASIN详情表zhcxkj_bi.amazon_external_externalnew_asin
a、根据产品库的真实SKU+站点维度执行
b、排除停产仿牌禁售数据
c、属于十大市场("DE", "MX", "ES", "IT", "FR", "JP", "AU", "CA", "GB", "US")
d、竞品ASIN的UpdateTime 近N天没有更新(N可设置,增加一个配置表配置,默认为30,支持按等级+市场配置)
三、新增一个竞品详情信息定期重采服务
根据第二步任务表中的数据进行筛选,调用逻辑,从产品库获取产品相关信息,再从竞品库获取竞品信息,按站点和竞品ASIN去重后,调用推送接口(或者直接推送给采集组),推送接口如下:
推送接口:http://amzpythonspiderapi.zhcxkj.com/ExternalAsinAdd
ExternalTest_Asin_US
[
{
"Asin": "B07M6KSHF1",
"SiteCode": "US",
"ReCrawl": 1
}
]
ReCrawl=1表示需要强制重采
频率:每站点SKU每30天一次
四、其他需求
性能需求:500万/天

