任务描述

需求描述

需求背景:目前智能刊登独立队列,智能运营调价独立队列,优惠券队列记录都存储在MongoDB,随着记录数量增加,查询性能会变差,需要将记录同步到es


需求实现:

1.新增三个ES记录表,分别存储智能刊登独立队列,智能运营调价独立队列,优惠券队列记录,数据结构与原MongoDB一致

2.实现数据同步服务,将智能刊登独立队列,智能运营调价独立队列,优惠券队列记录同步到ES,只同步失败和成功的记录,每半个小时同步一次

3.只有智能刊登记录的产品中文名和产品英文名需要支持模糊查询(字段需要分词),其他所有字段都是精准查询

4.修改三个接口读取位置

5.调价及优惠券仅保留最近2个月数据,刊登保留近6个月数据

验收标准
暂无
历史记录  
  1. 2023-06-05 08:57:07, 由 罗友军 创建。
  2. 2023-06-08 11:26:04, 由 张家添 编辑。
    修改了 任务描述,区别为:
    001- <img src="/zentao/file-read-271413.png" alt="" />
    001+
    001- <p><img src="/zentao/file-read-271413.png" alt="" /></p>
    001+ <p><img src="{271413.png}" alt="" /></p>
    增加配置类型92,生产已加

    es,智能刊登队列

    es,优惠券记录

    es,调价队列

  3. 2023-06-08 11:35:44, 由 张家添 完成。
    修改了 总计消耗,旧值为 "0",新值为 "17"。
    修改了 指派给 ,旧值为 "zhangjiatian",新值为 "luoyoujun"。
    修改了 实际完成,旧值为 "",新值为 "2023-06-08 11:26:09"。
    修改了 任务状态,旧值为 "wait",新值为 "done"。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2023-06-08 11:35:44"。
    修改了 预计剩余,旧值为 "17",新值为 "0"。
    修改了 由谁完成,旧值为 "",新值为 "zhangjiatian"。
    1、项目:Zhcxkj.AutoChoose.Worker,Zhcxkj.AutoChoose.Web

    2、增加字典类型92,记录同步的结点,生产已增加

    3、增加服务AmazonQueuesCron

    4、核心代码,三个es基本一致,以刊登队列代码为例

    5、相关文件

  4. 2023-06-08 11:37:28, 由 张家添 编辑。
    修改了 任务描述,区别为:
    001- <img src="/zentao/file-read-271413.png" alt="" />
    001+
    001- <p><img src="/zentao/file-read-271413.png" alt="" /></p>
    001+ <p><img src="{271413.png}" alt="" /></p>
    智能刊登队列es:http://10.158.158.165:9201/aq_autopublishuploadproduct/_search

    优惠券记录es:http://10.158.158.165:9201/aq_autocoupondetail/_search

    调价队列es:http://10.158.158.165:9201/aq_adjustpricequeue/_search

  5. 2023-06-08 16:28:16, 由 张家添 编辑。
    修改了 任务描述,区别为:
    001- <img src="/zentao/file-read-271413.png" alt="" />
    001+
    001- <p><img src="/zentao/file-read-271413.png" alt="" /></p>
    001+ <p><img src="{271413.png}" alt="" /></p>

    增加bi库的同步。

    增加三张表

    CREATE TABLE `zhcxkj_dw_bi`.`Bi_Aq_AdjustPriceQueue`  (
      `Id` varchar(255) NOT NULL COMMENT '唯一键,对应数据源的UniqueHash',
      `Date` datetime NOT NULL COMMENT '日期 yyyyMMdd格式',
      `OrderSourceID` int NOT NULL  COMMENT '来源渠道ID',
      `OrderSourceSKU` varchar(255) NULL COMMENT '来源渠道SKU',
      `StrategyId` int NOT NULL  COMMENT '策略ID',
      `Strategy` STRING NULL COMMENT '调价策略',
      `FeedSubmissionId` varchar(100) NULL COMMENT '批次号',
      `SKU` varchar(50) NULL COMMENT 'SKU',
      `ASIN` varchar(50) NULL COMMENT 'ASIN',
      `ListingPrice` decimal(10, 4) NOT NULL  COMMENT '原价',
      `Currency` varchar(10) NULL COMMENT '币种',
      `PreDiscountPrice` decimal(10, 4) NULL COMMENT '折前价',
      `DiscountSalesPrice` decimal(10, 4) NULL COMMENT '折后价',
      `DiscountStartTime` datetime NULL COMMENT '打折开始时间',
      `DiscountEndTime` datetime NULL COMMENT '打折结束时间',
      `DiscountRatio` decimal(10, 4) NOT NULL  COMMENT '折扣率',
      `Status` tinyint NOT NULL COMMENT '状态,2-成功,3-失败',
      `SubmitTime` datetime NULL COMMENT '提交时间',
      `ReturnTime` datetime NULL COMMENT '平台返回时间',
      `ErrorCode` varchar(50) NULL COMMENT '错误码',
      `Msg` varchar(2000) NULL COMMENT '消息/错误信息',
      `RetryNum` int NOT NULL  COMMENT '重试数量',
      `AddUserId` int NOT NULL  COMMENT '用户id',
      `AddUserName` varchar(100) NULL COMMENT '用户名称',
      `AddTime` datetime NOT NULL COMMENT '添加时间',
      `UpdateUserId` int NULL COMMENT '修改管理员id',
      `UpdateUserName` varchar(100) NULL COMMENT '修改管理员名称',
      `UpdateTime` datetime NULL COMMENT '修改时间',
      `OrderSourceName` varchar(100) NULL COMMENT '来源渠道名称'
    )ENGINE = OLAP PRIMARY KEY(`Id`) COMMENT "调价队列"
    DISTRIBUTED BY HASH(`Id`) BUCKETS 8 -- 重要就是这一句,需要分桶
    PROPERTIES(
    "replication_num" = "3",  -- 副本数为1,默认为3
    "in_memory" = "false",
    "storage_format" = "DEFAULT",
    "enable_persistent_index" = "false",
    "compression" = "LZ4"
    ); 

    CREATE TABLE `zhcxkj_dw_bi`.`Bi_Aq_AutoCouponDetail`  (
      `Id` varchar(255) NOT NULL COMMENT '唯一键,对应数据源的UniqueHash',
    `CouponUploadTaskV2ID` bigint  NULL COMMENT '优惠券队列ID',
    `CouponId` varchar(200)  NULL COMMENT '优惠券ID',
    `OrderSourceID` int  NULL COMMENT '来源渠道ID',        
    `OrderSourceSKU` varchar(200)  NULL COMMENT '渠道SKU',        
    `UploadStatus` int  NULL COMMENT '上传状态 0等待上传 1 上传成功 2上传失败 3超时未上传',        
    `CancelStatus` int  NULL COMMENT '取消状态 0不取消 1 待取消 2已取消  ',        
    `SKU` varchar(50)  NULL COMMENT 'SKU',        
    `ASIN` varchar(50)  NULL COMMENT 'ASIN',        
    `SiteCode` varchar(10)  NULL COMMENT '站点',        
    `DiscountValue` decimal(10,4)  NULL COMMENT '折扣点',
    `DiscountType` varchar(50)  NULL COMMENT '折扣类型,折扣类型分为百分比和金额',        
    `BudgetUnits` decimal(10,4)  NULL COMMENT '优惠券预算数量 Ca站点使用',        
    `BudgetType` varchar(50)  NULL COMMENT '预算类型  分为金额和数量',        
    `Budget` decimal(10,4)  NULL COMMENT '预算金额',        
    `StartDate` DateTime  NULL COMMENT '开始时间',        
    `EndDate` DateTime  NULL COMMENT '结束时间',        
    `TargetCustomers` varchar(200)  NULL COMMENT '目标买家',        
    `IsPerCustomer` tinyint  NULL COMMENT '限制买家只能兑换一次',        
    `FailureReason` varchar(500)  NULL COMMENT '失败原因',
    `AddTime` DateTime  NULL COMMENT '添加时间',
    `UpdateTime` DateTime  NULL COMMENT '修改时间',
    `OrderSourceName` varchar(100)  NULL COMMENT '来源渠道名称'
    )ENGINE = OLAP PRIMARY KEY(`Id`) COMMENT "优惠券队列"
    DISTRIBUTED BY HASH(`Id`) BUCKETS 8 -- 重要就是这一句,需要分桶
    PROPERTIES(
    "replication_num" = "3",  -- 副本数为1,默认为3
    "in_memory" = "false",
    "storage_format" = "DEFAULT",
    "enable_persistent_index" = "false",
    "compression" = "LZ4"
    ); 

    CREATE TABLE `zhcxkj_dw_bi`.`Bi_Aq_AutoPublishUploadProduct`  (
    `Id` VARCHAR(255) not NULL COMMENT '唯一键,对应数据源的UniqueHash',
      `SiteCode` VARCHAR(10)  NULL COMMENT '站点',
    `Date` DateTime  NULL COMMENT '日期 yyyyMMdd格式',
    `QueueID` bigint  NULL COMMENT '关联刊登结果队列ID',
    `OrderSourceID` int  NULL COMMENT '来源渠道ID',
    `OrderSourceName` VARCHAR(100)  NULL COMMENT '来源渠道名',
    `OrderSourceSKU` VARCHAR(100)  NULL COMMENT '来源渠道SKU',
    `OrderSourceSKUID` int  NULL COMMENT '渠道SKUID',
    `SKU` VARCHAR(50)  NULL COMMENT '系统SKU',
    `ProductName` VARCHAR(2000)  NULL COMMENT '产品英文名',
    `ProductNameCN` VARCHAR(2000)  NULL COMMENT '产品中文名',
    `ASIN` VARCHAR(50)  NULL COMMENT 'ASIN',
    `IsVariation` TINYINT  NULL COMMENT '是否变体',
    `IsParent` TINYINT  NULL COMMENT '是否母体',
    `ParentSKU` VARCHAR(50)  NULL COMMENT '母体SKU',
    `VariantGroup` VARCHAR(200)  NULL COMMENT '变体组合',
    `Currency` VARCHAR(10)  NULL COMMENT '币种',
    `Price` decimal(10,4)  NULL COMMENT '价格',
    `BrandAddTitle` TINYINT  NULL COMMENT '品牌是否添加到title',
    `UPCorEAN` VARCHAR(50)  NULL COMMENT 'UPCorEAN',
    `IsNeedUPCorEAN` TINYINT  NULL COMMENT '是否需要判断UPCorEAN',
    `RetryNum` int  NULL COMMENT '重试次数',
    `Status` TINYINT  NULL COMMENT '刊登产品状态',
    `TranslateStatus` TINYINT  NULL COMMENT '翻译状态',
    `PublishType` TINYINT  NULL COMMENT '刊登类型',
    `ErrorCode` VARCHAR(50)  NULL COMMENT '错误码',
    `Msg` VARCHAR(8000)  NULL COMMENT 'Msg',
    `Attributes` STRING  NULL COMMENT '原刊登属性集合',
    `TranslateAttributes` STRING  NULL COMMENT '翻译属性集合',
    `AddUserId` int  NULL COMMENT 'User Id',
    `AddUserName` VARCHAR(100)  NULL COMMENT '添加用户',
    `AddTime` DateTime  NULL COMMENT '添加时间',
    `UpdateUserId` int  NULL COMMENT '修改管理员id',
    `UpdateUserName` VARCHAR(100)  NULL COMMENT '修改管理员名称',
    `UpdateTime` DateTime  NULL COMMENT '修改时间',
    `CategoryNamePath` VARCHAR(2000)  NULL COMMENT '刊登分类',
    `AsinUrl` VARCHAR(1000)  NULL COMMENT 'asin地址',
    `FeedSubmissionId` VARCHAR(100)  NULL COMMENT '批次编号'
    )ENGINE = OLAP PRIMARY KEY(`Id`) COMMENT "智能刊登队列"
    DISTRIBUTED BY HASH(`Id`) BUCKETS 8 -- 重要就是这一句,需要分桶
    PROPERTIES(
    "replication_num" = "3",  -- 副本数为1,默认为3
    "in_memory" = "false",
    "storage_format" = "DEFAULT",
    "enable_persistent_index" = "false",
    "compression" = "LZ4"
    ); 
    相关文件

    测试数据

  6. 2023-06-08 16:28:25, 由 张家添 编辑。
    修改了 任务描述,区别为:
    001- <img src="/zentao/file-read-271413.png" alt="" />
    001+
    001- <p><img src="/zentao/file-read-271413.png" alt="" /></p>
    001+ <p><img src="{271413.png}" alt="" /></p>
    可提测
  7. 2023-10-31 16:48:44, 由 周杰 关闭。
    修改了 任务状态,旧值为 "done",新值为 "closed"。
    修改了 指派给 ,旧值为 "luoyoujun",新值为 "closed"。
    修改了 由谁关闭,旧值为 "",新值为 "zhoujie"。
    修改了 关闭时间,旧值为 "0000-00-00 00:00:00",新值为 "2023-10-31 16:48:44"。
    修改了 关闭原因,旧值为 "",新值为 "done"。
所属迭代 智能中心-智能刊登迭代
所属模块 智能中心-需求池  战略独立项目   智能刊登
相关需求 智能刊登&智能运营记录同步服务
指派给 Closed 于 2023-10-31 16:48:44
任务类型 后端
任务标签 初始
开发组 仓储物流开发组
任务状态 已关闭
进度 100%
优先级 P1
关键词
抄送给
由谁创建 罗友军 于 2023-06-05 08:57:07
由谁完成 张家添 于 2023-06-08 11:26:09
由谁取消 暂无
由谁关闭 周杰 于 2023-10-31 16:48:44
关闭原因 已完成
最后编辑 周杰 于 2023-10-31 16:48:44
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 17工时
总计消耗 17工时
预计剩余 0工时
预计开始 2023-06-05
实际开始 2023-06-08
截止日期 2023-06-10