深圳智汇创想科技有限公司

一、背景
目前采集了外部流量数据，需按天进行整理，进行数据分析
业务价值：用于外部流量分析，预估10000
验收人：李青

二、需求说明
2.1、外部数据采集逻辑变更
1、采集来源：亚马逊各个站点数据；eg 美国采集页面：https://apppc.chinaz.com/?domain=amazon.com
2、采集频率：每天早上9：00开始采集一次所有亚马逊站点数据。

3、采集模块
1）采集区域一
输出：统计时间，全球排名，每百万访问人数，平均访问页面，PR值（外链综合价值），IP访问估值，采集时间。
--统计时间：为采集区域三的统计结束时间。

2）采集区域二，不进行采集。
--因有统计时间的明细数据，需要时可再做逻辑统计。


3）采集区域三
Rank输出字段：统计时间（appc），Rank值，采集时间。
--30天的数据均需要存储

Index输出字段：统计时间（appc），Index值，采集时间。
--30天的数据均需要存储

Reach输出字段：统计时间（appc），Reach值，采集时间。
--30天的数据均需要存储

Page View输出字段：统计时间（appc），Page View值，采集时间。
--30天的数据均需要存储


2.2、新增外部流量数据统计表，按统计时间进行数据存储。
1、数据来源：apppc采集数据
2、统计逻辑：按统计时间（appc）进行统计。
3、存储更新逻辑：按统计时间进行存储；增量更新。
4、数据输出：统计时间（apppc），站点，全球排名，每百万人访问人数，平均访问页面，用户指数，PR值（外链综合价值），IP访问估值，采集日期，更新时间。

5、字段释义
--统计时间：唯一键，apppc的数据统计时间。
--站点：亚马逊各个站点。
--全球排名：采集采集区域三 下的Rank值。
--每百万人访问人数：采集采集区域三 下的Reach值。
--平均访问页面：采集采集区域三 下的Page View值。
--用户指数：采集采集区域三 下的Index值。
--PR值（外链综合价值）：采集区域一 下的PR值（外链综合价值）。
--IP访问估值：采集区域一 下的IP访问估值。
--采集日期：最新的采集时间
--更新时间：统计时间发生变更的时间；eg：7-5采集到  统计时间7-1的数据 A  与7-3采集到  统计时间7-1的数据 B，进行对比，若发生变更则更新且记录变更时间。



三、验收标准
1、采集数据准确
2、每天采集数据正常

验收标准
1、采集数据准确
2、每天采集数据正常