需求背景
目前用户只需要刊登前7天或者最近7天的流量数据,且之前按天采集数据量过大
需求描述
1.调用https://developer.ebay.com/api-docs/sell/analytics/resources/traffic_report/methods/getTrafficReport接口,按来源渠道维度一次传参200个listing获取对应的流量数据存储智能刊登数据库表
a.新建表按:采集时间+站点+来源渠道+LISTING_IMPRESSION_TOTAL
,LISTING_VIEWS_TOTAL
,LISTING_IMPRESSION_SEARCH_RESULTS_PAGE
,LISTING_IMPRESSION_STORE
,LISTING_VIEWS_SOURCE_DIRECT
,LISTING_VIEWS_SOURCE_OFF_EBAY
,LISTING_VIEWS_SOURCE_OTHER_EBAY
,LISTING_VIEWS_SOURCE_SEARCH_RESULTS_PAGE
,LISTING_VIEWS_SOURCE_STORE
,TRANSACTION
存储listing的曝光度
数据库表只记录有曝光度的数据,按时间进行采集
2.新增刊登7天流量表,按月存储刊登7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,每天定时判断listing的在线时间是否超7天(当前时间-刊登时间),获取刊登超过7天的listing的流量存储在刊登7天流量表中
a.新增队列,将刊登时间超过7天的listing放入到队列表中,listingID需唯一,字段有:来源渠道/listing ID/提交状态;请求平台前为未提交,请求后改为提交状态
b.服务只判断listing表刊登时间7-14天的listing是否符合进入队列条件(在队列中不符合,不在队列中则符合)
c.按队列表进行获取流量数据,按来源渠道+listing ID,每次200个listing ID进行请求(英德站点只采集高级店铺,美国站点采集中高级店铺)
3.新增最近7天流量表按月存储listing最近7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,获取在线listing最近7天的流量存储在最近7天流量表中
a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺
b.新增最近7天流量处理服务表,将每个站点最新采集日采集到的数据存储到该表中,英国站点单数日覆盖,美德站点双数日覆盖,更新时间超过5天的数据进行删除处理,
c.埋词/凤凰计划相关使用7天流量数据从最近7天流量处理服务表中获取数据进行处理(只取更新时间48小时内的数据)
分支: