需求背景:数据归档,解决存储问题,提高性能
需求实现:
替换掉之前根据在售报告判断逻辑,减少业务表数据量以提高性能,及磁盘空间合理分配使用。
Listing打标表:Amazon_MarkListing.MarkListing_N
Listing属性表:Amazon_AutoPublish.AmazonListingInfo_N
1、遍历“Listing打标表”的下架记录,在“Listing删除记录表”(Amazon_MarkListing.DeletedListing_N)判断Listing是否存在,如果删除记录存在且删除时间超过一个月,则将该Listing归档到现有“Listing归档表”(Amazon_Archive.MarkListing_N)
2、遍历“Listing属性表”,如果Listing不是母体则从“Listing打标表”查询Listing是否下架,如果已下架且记录存在于“Listing删除记录表”(Amazon_MarkListing.DeletedListing_N)中的删除时间超过一个月,则归档到现有“Listing属性归档表”(Amazon_Archive.AmazonListingInfo);如果是母体,判断母体是否在“删除Listing队列表”(ES索引库:aq_amazonqueuedelete_n)中,如果母体已删除则归档到现有“Listing属性归档表”(Amazon_Archive.AmazonListingInfo)





