需求背景
在跑通用场景时,发现渠道SKU的首单时间大部分都是为null,导致通用场景数据执行量少,需要重刷
需求内容
1.渠道sku首单时间为null重置
因4亿多的渠道sku,有首单和销量的占比极少,大部分都是无首单销量为0的数据,在条件过滤时会过滤不出来,所以对这些无首单的数据进行数据升级。
2.通用场景逻辑优化,减小对mongodb数据库压力
之前通用场景筛选时根据条件动态拼成mongodb语句去查询,而这些语句很难走索引和建索引,有些可能会对mongodb进行全表扫描,降低性能。所以对通用场景筛选逻辑进行优化,优先查询有索引且数据量较小的数据,在查数据量大的数据。
3.应运维要求,店铺末单/系统sku末单/站点sku末单读取数据源切换到erp读库。
4.渠道sku最后一次流量时间优化,恢复更新遗漏数据
之前渠道sku最后一次流量时间更新服务会漏数据, 导致时间不准,影响流量统计和通用场景筛选数据准确性,再加上统计数据源变更,由之前的Amazon_Reports_SalesTrafficReport变更为Amazon_Child_Reports_SalesTrafficReport,部分逻辑需要重写。并针对所有listing需要重新刷流量数据
5.通用场景增加未出单sku数据过滤
现在通用场景对于sku销量过滤的是已出单的数据,而未出单的sku没有在MarkSku里面,需要补齐