需求背景:
当前采集组采集的类目数据无法完全保证采集的类目数据的准确性,每次全量采集回来的类目数据都需要花费很大的人力进行比对校验才敢同步到ERP;亚马逊现在存在一份类目树的报告,而报告的数据的下载稳定性相对于采集来说会高一点,且也可以快速进行比对校验。
需求内容:
一、数据中心每周日下载Browse tree report,所有站点每站点下载一份
二、ERP每周一同步数据中心的Browse tree report数据并解析到Amazon类目表
三、ERP从采集库获取从亚马逊店铺后台采集下来的一级类目对解析出来的数据进行标记
Amazon类目表存储字段以及解析逻辑:
1、Country
2、browseNodeId
3、browseNodeAttributescount
4、recommended_browse_nodes
5、browseNodeName
6、browseNodeStoreContextName
7、browsePathById
8、browsePathByName
9、childNodes count:等于0表示该节点为末级节点
10、childNodes
11、ParentBrowsePathById:等于browsePathById 减去 browseNodeId
12、Hierarchy:采集库最新的计划该节点为一级类目该字段标记为1,否则标记为0
13、最新更新时间:如果该节点在最新一次报告中存在则更新该事件,不存在则不更新
14、是否有效:如果该节点在最新一次报告中存在则该字段标记为1,不存在则为0
Amazon类目表唯一键:
browsePathById
Country
各节点的处理时间
数据中心下载:每周日
采集一级类目:每周六
ERP解析报告:每周一
采集模板链接:每周二
ERP解析模板链接:每周六
Browse tree repor报告参考数据:
https://developer-docs.amazon.com/sp-api/docs/report-type-values#browse-tree-report
<Node>
<browseNodeId>248878031</browseNodeId>
<browseNodeAttributes count="1">
<attribute name="recommended_browse_nodes">248878031</attribute>
</browseNodeAttributes>
<browseNodeName>Automotive</browseNodeName>
<browseNodeStoreContextName>Automotive</browseNodeStoreContextName>
<browsePathById>248877031,248878031</browsePathById>
<browsePathByName>Automotive</browsePathByName>
<hasChildren>true</hasChildren>
<childNodes count="15">
<id>15594959031</id>
<id>60036031</id>
<id>303891031</id>
<id>3013843031</id>
<id>301308031</id>
<id>301309031</id>
<id>301310031</id>
<id>301311031</id>
<id>301314031</id>
<id>2901363031</id>
<id>301315031</id>
<id>303890031</id>
<id>2486235031</id>
<id>301313031</id>
<id>307675031</id>
</childNodes>
<productTypeDefinitions>AUTO_PART,AUTO_ACCESSORY,AUTO_BATTERY,AUTO_CHEMICAL,AUTO_OIL,CAR_ELECTRONICS,MOTORCYCLE_ACCESSORY,MOTORCYCLE_PART,MOTORCYCLES,POWERSPORTS_PROTECTIVE_GEAR,POWERSPORTS_RIDING_GLOVES,POWERSPORTS_RIDING_HELMET,POWERSPORTS_RIDING_SHOES,TIRE_AND_WHEEL_ASSEMBLIES,TIRES,WHEEL</productTypeDefinitions>
<refinementsInformation count="0"/>
</Node>
1、配置Browse tree report报告下载计划(1H)
2、从采集库拉取Browse tree report到ERP (6H)
3、增量拉取数据中心Browse tree report到ERP; 数据量较大需考虑去重等相关性能,解析、清洗、标记一级类目、标记末级类目、删除 (14)