任务描述

需求背景

目前用户只需要刊登前7天或者最近7天的流量数据,且之前按天采集数据量过大


需求描述

1.调用https://developer.ebay.com/api-docs/sell/analytics/resources/traffic_report/methods/getTrafficReport接口,按来源渠道维度一次传参200个listing获取对应的流量数据存储智能刊登数据库表

a.新建表按:采集时间+站点+来源渠道+LISTING_IMPRESSION_TOTAL
,LISTING_VIEWS_TOTAL
,LISTING_IMPRESSION_SEARCH_RESULTS_PAGE
,LISTING_IMPRESSION_STORE
,LISTING_VIEWS_SOURCE_DIRECT
,LISTING_VIEWS_SOURCE_OFF_EBAY
,LISTING_VIEWS_SOURCE_OTHER_EBAY
,LISTING_VIEWS_SOURCE_SEARCH_RESULTS_PAGE
,LISTING_VIEWS_SOURCE_STORE
,TRANSACTION

存储listing的曝光度

数据库表只记录有曝光度的数据,按时间进行采集

2.新增刊登7天流量表,按月存储刊登7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,每天定时判断listing的在线时间是否超7天(当前时间-刊登时间),获取刊登超过7天的listing的流量存储在刊登7天流量表中

a.新增队列,将刊登时间超过7天的listing放入到队列表中,listingID需唯一,字段有:来源渠道/listing ID/提交状态;请求平台前为未提交,请求后改为提交状态

b.服务只判断listing表刊登时间7-14天的listing是否符合进入队列条件(在队列中不符合,不在队列中则符合)

c.按队列表进行获取流量数据,按来源渠道+listing ID,每次200个listing ID进行请求(英德站点只采集高级店铺,美国站点采集中高级店铺)


3.新增最近7天流量表按月存储listing最近7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,获取在线listing最近7天的流量存储在最近7天流量表中

a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺

b.新增最近7天流量处理服务表,将每个站点最新采集日采集到的数据存储到该表中,英国站点单数日覆盖,美德站点双数日覆盖,更新时间超过5天的数据进行删除处理,

c.埋词/凤凰计划相关使用7天流量数据从最近7天流量处理服务表中获取数据进行处理(只取更新时间48小时内的数据)


需求描述

需求背景

目前用户只需要刊登前7天或者最近7天的流量数据,且之前按天采集数据量过大


需求描述

1.调用https://developer.ebay.com/api-docs/sell/analytics/resources/traffic_report/methods/getTrafficReport接口,按来源渠道维度一次传参200个listing获取对应的流量数据存储智能刊登数据库表

a.新建表按:采集时间+站点+来源渠道+LISTING_IMPRESSION_TOTAL
,LISTING_VIEWS_TOTAL
,LISTING_IMPRESSION_SEARCH_RESULTS_PAGE
,LISTING_IMPRESSION_STORE
,LISTING_VIEWS_SOURCE_DIRECT
,LISTING_VIEWS_SOURCE_OFF_EBAY
,LISTING_VIEWS_SOURCE_OTHER_EBAY
,LISTING_VIEWS_SOURCE_SEARCH_RESULTS_PAGE
,LISTING_VIEWS_SOURCE_STORE
,TRANSACTION

存储listing的曝光度

数据库表只记录有曝光度的数据,按时间进行采集

2.新增刊登7天流量表,按月存储刊登7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,每天定时判断listing的在线时间是否超7天(当前时间-刊登时间),获取刊登超过7天的listing的流量存储在刊登7天流量表中

a.新增队列,将刊登时间超过7天的listing放入到队列表中,listingID需唯一,字段有:来源渠道/listing ID/提交状态;请求平台前为未提交,请求后改为提交状态

b.服务只判断listing表刊登时间7-14天的listing是否符合进入队列条件(在队列中不符合,不在队列中则符合)

c.按队列表进行获取流量数据,按来源渠道+listing ID,每次200个listing ID进行请求(英德站点只采集高级店铺,美国站点采集中高级店铺)


3.新增最近7天流量表按月存储listing最近7天的listing流量数据,按月分表,每次只保留上月与本月的数据表,新增服务,获取在线listing最近7天的流量存储在最近7天流量表中

a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺

b.新增最近7天流量处理服务表,将每个站点最新采集日采集到的数据存储到该表中,英国站点单数日覆盖,美德站点双数日覆盖,更新时间超过5天的数据进行删除处理,

c.埋词/凤凰计划相关使用7天流量数据从最近7天流量处理服务表中获取数据进行处理(只取更新时间48小时内的数据)


验收标准
暂无
历史记录  
  1. 2024-07-14 16:12:28, 由 王小勤 创建。
  2. 2024-07-14 17:33:39, 由 王小勤 编辑。
    修改了 任务描述,区别为:
    016- a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺
    016+ a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺
    016- <p style="font-size:14px;background-color:#FFFFFF;">a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺</p>
    016+ <p style="font-size:14px;background-color:#FFFFFF;">a.英国站点,按单数日采集,美德站点按双数日采集,英德站点只采集高级店铺,美国站点采集中高级店铺<strong></strong></p>

    验证第1.2点:

    流量队列服务:从接口调度获取符合条件队列数据,测试环境调度流量曝光服务,与生产环境对应服务产生额度占用相冲突,产生太多请求的提示,与产品、开发沟通进行线上观察

    单数日店铺请求:

    双数日店铺请求:


    验证第
    3.点:
    (1)最近7天流量表,即之前的3或7天流量表:sys_ebay_traffic_report_nday(询问流量表分表是否处理)

    (2)英国站点高级店铺,按单数日采集;美(中高级店铺)德(高级店铺)站点,按双数日采集

    验证如下:

    【1】创建两个埋词策略,埋词对象分别选择:所有直发来源渠道 、所有海外仓来源渠道,创建如下策略:

    测试数据:对接双数日(7月12日)的店铺:5080(美国直发高级店铺)+9802(美国非直发中级店铺)

    (1)策略ID:10011   对接:所有直发来源渠道

    设置策略条件如下:

    SQL过滤脚本:

    SELECT l.StartTime,l.EndTime,l.OnlineStatus,l.PublishTime,l.price,l.IsAutoPublish,l.QuantitySold,l.sku,l.ProductId,l.SellerSku,l.*  FROM `M_Ebay_Listing` l  
    WHERE 
    (
    (
    (
      (
    (
    (
    (( `OnlineStatus` = 1 ) AND ( `OrderSourceId` in (5080) ) ) 
    AND (EXISTS ( SELECT * FROM `M_Ebay_Listing_Sub` `sub` INNER JOIN `sys_ebay_traffic_report_nday` `dis` 
    ON ( `sub`.`ProductId` = `dis`.`ProductId` ) 
    WHERE (( `sub`.`OrderSourceId` = `l`.`OrderSourceId` ) AND ( `sub`.`ProductId` = `l`.`ProductId` ))  
    AND ( `dis`.`type` =( 7 ))   
    AND ( `dis`.`ListingImpressionTotal` >=(1))  
    AND ( `dis`.`ListingImpressionTotal` <=(16)) 
    )
    )
    ) 
    AND ( `IsAutoPublish` in (1) )
    ) 
    AND ( `PublishTime` <= (DATE_ADD('2024-07-12 09:07:38.547' , INTERVAL -1 Day)) )
    ) 
    AND ( `PublishTime` >= '2022-09-01 09:07:32.084' )
    ) AND ( `QuantitySold` >=2 )
    ) AND ( `QuantitySold` <=3)
    ) order by id desc;
    
    -----------------------------------------------------------------------------------------
    
    
    SELECT   l.StartTime,l.EndTime,l.OnlineStatus,l.PublishTime,l.price,l.IsAutoPublish,l.QuantitySold,l.sku,l.ProductId,l.SellerSku,l.* 
    FROM M_Ebay_Listing l
    force index(idx_id_OrderSourceId_EndTime)  
    WHERE ((((
    (( `OnlineStatus` = 1 ) AND ( `OrderSourceId` in (5080))) 
     -- AND  (`ProductId` in ('145872454681','135131501715','145854627333'))
    -- AND (( `EndTime` >= '2024-07-15 00:00:00.000' ) AND ( `EndTime` <= '2024-07-16 00:00:00.000' ))
    ) 
    AND ( `IsAutoPublish` in (1) )) 
    AND ( `PublishTime` <= (DATE_ADD('2024-07-12 06:54:11.685' , INTERVAL -1 Day)) )) AND ( `PublishTime` >= '2022-12-30 06:54:11.671' ))ORDER BY Id; 

    (2)策略ID:10012  对接:所以海外仓来源渠道

    设置策略条件如下:

    SQL过滤脚本:

    SELECT  l.OnlineStatus,l.PublishTime,l.price,l.IsAutoPublish,l.QuantitySold,l.sku,l.ProductId,l.SellerSku,l.*  FROM `M_Ebay_Listing` l  
    WHERE 
    (
    (
    (
      (
    (
    (
    (( `OnlineStatus` = 1 ) AND ( `OrderSourceId` in (9802) ) ) 
    AND (EXISTS ( SELECT * FROM `M_Ebay_Listing_Sub` `sub` INNER JOIN `sys_ebay_traffic_report_nday` `dis` 
    ON ( `sub`.`ProductId` = `dis`.`ProductId` ) 
    WHERE (( `sub`.`OrderSourceId` = `l`.`OrderSourceId` ) AND ( `sub`.`ProductId` = `l`.`ProductId` ))  
    AND ( `dis`.`type` =( 7 ))   
    AND ( `dis`.`ListingImpressionTotal` >=( 1 ))  
    AND ( `dis`.`ListingImpressionTotal` <=( 13 )) 
    )
    )
    ) 
    AND ( `IsAutoPublish` = 0 )
    ) 
    AND ( `PublishTime` <= (DATE_ADD('2024-07-11 09:07:38.547' , INTERVAL -1 Day)) )
    ) 
    AND ( `PublishTime` >= '2022-09-01 09:07:32.084' )
    ) AND ( `QuantitySold` >=1 )
    ) AND ( `QuantitySold` <=5)
    )  order by id desc;
    通过埋词调度服务:
    GetMarketBuriedwordsStrategyJobService__Producer-dev    Ebay-SKU修改通用生产者
    GetEbayNQueue-dev-ebay   Ebay-变更队列通用生产者    关键词:Buriedwords


    预期结果:通过对接埋词对象:所有直发来源渠道、所有海外仓来源渠道,能够将对应店铺下的在线listing进行成功埋词

    实际结果1:查看策略ID:10011 队列情况:直发来源渠道对应的在线listing也成功埋词(在线listing应同步mgdb_listing对应店铺表)

    实际结果2:查看策略ID:10012 队列情况:直发来源渠道对应的在线listing也成功埋词(在线listing应同步mgdb_listing对应店铺表)


  3. 2024-07-14 17:39:24, 由 王小勤 记录工时,消耗 4 小时。
  4. 2024-07-14 17:39:24, 由 王小勤 记录工时,消耗 4 小时。
    修改了 总计消耗,旧值为 "0",新值为 "8"。
    修改了 预计剩余,旧值为 "8",新值为 "0"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 由谁完成,旧值为 "",新值为 "wangxiaoqin"。
    修改了 实际完成,旧值为 "",新值为 "2024-07-14 17:39:24"。
所属迭代 智能中心-EBAY直发迭代
所属模块 智能中心-需求池  战略独立项目   EBAY直发
相关需求 ebay listing流量数据改为一次采集7天的流量
指派给 王小勤 于 2024-07-14 17:39:24
任务类型 测试
任务标签 初始
开发组
任务状态 已完成
进度 100%
优先级 P1
关键词
抄送给
由谁创建 王小勤 于 2024-07-14 16:12:28
由谁完成 王小勤 于 2024-07-14 17:39:24
由谁取消 暂无
由谁关闭 暂无
关闭原因 暂无
最后编辑 王小勤 于 2024-07-14 17:39:24
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 8工时
总计消耗 8工时
预计剩余 0工时
预计开始 2024-07-14
实际开始 0000-00-00
截止日期 2024-07-14