需求背景
目前用户只需要刊登前7天或者最近7天的流量数据,且之前按天采集数据量过大
需求描述
1.调用https://developer.ebay.com/api-docs/sell/analytics/resources/traffic_report/methods/getTrafficReport接口,按来源渠道维度一次传参200个listing获取对应的流量数据存储智能刊登数据库表
a.新建表按:采集时间+站点+来源渠道+LISTING_IMPRESSION_TOTAL
,LISTING_VIEWS_TOTAL
,LISTING_IMPRESSION_SEARCH_RESULTS_PAGE
,LISTING_IMPRESSION_STORE
,LISTING_VIEWS_SOURCE_DIRECT
,LISTING_VIEWS_SOURCE_OFF_EBAY
,LISTING_VIEWS_SOURCE_OTHER_EBAY
,LISTING_VIEWS_SOURCE_SEARCH_RESULTS_PAGE
,LISTING_VIEWS_SOURCE_STORE
,TRANSACTION
存储listing的曝光度
数据库表只记录有曝光度的数据,按时间进行采集
2.新增刊登7天流量表,按月存储刊登7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,每天定时判断listing的在线时间是否超7天(当前时间-刊登时间),获取刊登超过7天的listing的流量存储在刊登7天流量表中
a.新增队列,将刊登时间超过7天的listing放入到队列表中,listingID需唯一,字段有:来源渠道/listing ID/提交状态;请求平台前为未提交,请求后改为提交状态
b.服务只判断listing表刊登时间7-14天的listing是否符合进入队列条件(在队列中不符合,不在队列中则符合)
c.按队列表进行获取流量数据,按来源渠道+listing ID,每次200个listing ID进行请求(英德站点只采集高级店铺,美国站点采集中高级店铺)
3.新增最近7天流量表按月存储listing最近7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,获取在线listing最近7天的流量存储在最近7天流量表中
a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺
b.新增最近7天流量处理服务表,将每个站点最新采集日采集到的数据存储到该表中,英国站点单数日覆盖,美德站点双数日覆盖,更新时间超过5天的数据进行删除处理,
c.埋词/凤凰计划相关使用7天流量数据从最近7天流量处理服务表中获取数据进行处理(只取更新时间48小时内的数据)
验证第1.2点:
流量队列服务:从接口调度获取符合条件队列数据,测试环境调度流量曝光服务,与生产环境对应服务产生额度占用相冲突,产生太多请求的提示,与产品、开发沟通进行线上观察

单数日店铺请求:
双数日店铺请求:
验证第3.点:
(1)最近7天流量表,即之前的3或7天流量表:sys_ebay_traffic_report_nday(询问流量表分表是否处理)
(2)英国站点高级店铺,按单数日采集;美(中高级店铺)德(高级店铺)站点,按双数日采集
验证如下:
【1】创建两个埋词策略,埋词对象分别选择:所有直发来源渠道 、所有海外仓来源渠道,创建如下策略:
测试数据:对接双数日(7月12日)的店铺:5080(美国直发高级店铺)+9802(美国非直发中级店铺)
(1)策略ID:10011 对接:所有直发来源渠道
设置策略条件如下:
SQL过滤脚本:
SELECT l.StartTime,l.EndTime,l.OnlineStatus,l.PublishTime,l.price,l.IsAutoPublish,l.QuantitySold,l.sku,l.ProductId,l.SellerSku,l.* FROM `M_Ebay_Listing` l WHERE ( ( ( ( ( ( (( `OnlineStatus` = 1 ) AND ( `OrderSourceId` in (5080) ) ) AND (EXISTS ( SELECT * FROM `M_Ebay_Listing_Sub` `sub` INNER JOIN `sys_ebay_traffic_report_nday` `dis` ON ( `sub`.`ProductId` = `dis`.`ProductId` ) WHERE (( `sub`.`OrderSourceId` = `l`.`OrderSourceId` ) AND ( `sub`.`ProductId` = `l`.`ProductId` )) AND ( `dis`.`type` =( 7 )) AND ( `dis`.`ListingImpressionTotal` >=(1)) AND ( `dis`.`ListingImpressionTotal` <=(16)) ) ) ) AND ( `IsAutoPublish` in (1) ) ) AND ( `PublishTime` <= (DATE_ADD('2024-07-12 09:07:38.547' , INTERVAL -1 Day)) ) ) AND ( `PublishTime` >= '2022-09-01 09:07:32.084' ) ) AND ( `QuantitySold` >=2 ) ) AND ( `QuantitySold` <=3) ) order by id desc; ----------------------------------------------------------------------------------------- SELECT l.StartTime,l.EndTime,l.OnlineStatus,l.PublishTime,l.price,l.IsAutoPublish,l.QuantitySold,l.sku,l.ProductId,l.SellerSku,l.* FROM M_Ebay_Listing l force index(idx_id_OrderSourceId_EndTime) WHERE (((( (( `OnlineStatus` = 1 ) AND ( `OrderSourceId` in (5080))) -- AND (`ProductId` in ('145872454681','135131501715','145854627333')) -- AND (( `EndTime` >= '2024-07-15 00:00:00.000' ) AND ( `EndTime` <= '2024-07-16 00:00:00.000' )) ) AND ( `IsAutoPublish` in (1) )) AND ( `PublishTime` <= (DATE_ADD('2024-07-12 06:54:11.685' , INTERVAL -1 Day)) )) AND ( `PublishTime` >= '2022-12-30 06:54:11.671' ))ORDER BY Id;(2)策略ID:10012 对接:所以海外仓来源渠道
设置策略条件如下:
SQL过滤脚本:
SELECT l.OnlineStatus,l.PublishTime,l.price,l.IsAutoPublish,l.QuantitySold,l.sku,l.ProductId,l.SellerSku,l.* FROM `M_Ebay_Listing` l WHERE ( ( ( ( ( ( (( `OnlineStatus` = 1 ) AND ( `OrderSourceId` in (9802) ) ) AND (EXISTS ( SELECT * FROM `M_Ebay_Listing_Sub` `sub` INNER JOIN `sys_ebay_traffic_report_nday` `dis` ON ( `sub`.`ProductId` = `dis`.`ProductId` ) WHERE (( `sub`.`OrderSourceId` = `l`.`OrderSourceId` ) AND ( `sub`.`ProductId` = `l`.`ProductId` )) AND ( `dis`.`type` =( 7 )) AND ( `dis`.`ListingImpressionTotal` >=( 1 )) AND ( `dis`.`ListingImpressionTotal` <=( 13 )) ) ) ) AND ( `IsAutoPublish` = 0 ) ) AND ( `PublishTime` <= (DATE_ADD('2024-07-11 09:07:38.547' , INTERVAL -1 Day)) ) ) AND ( `PublishTime` >= '2022-09-01 09:07:32.084' ) ) AND ( `QuantitySold` >=1 ) ) AND ( `QuantitySold` <=5) ) order by id desc;通过埋词调度服务:GetMarketBuriedwordsStrategyJobService__Producer-dev Ebay-SKU修改通用生产者
GetEbayNQueue-dev-ebay Ebay-变更队列通用生产者 关键词:Buriedwords
预期结果:通过对接埋词对象:所有直发来源渠道、所有海外仓来源渠道,能够将对应店铺下的在线listing进行成功埋词
实际结果1:查看策略ID:10011 队列情况:直发来源渠道对应的在线listing也成功埋词(在线listing应同步mgdb_listing对应店铺表)实际结果2:查看策略ID:10012 队列情况:直发来源渠道对应的在线listing也成功埋词(在线listing应同步mgdb_listing对应店铺表)