目前采集了外部流量数据,需按天进行整理,进行数据分析
业务价值:用于外部流量分析,预估10000
验收人:李青
二、需求说明
2.1、外部数据采集逻辑变更
1、采集来源:亚马逊各个站点数据;eg 美国采集页面:https://apppc.chinaz.com/?domain=amazon.com
2、采集频率:每天早上9:00开始采集一次所有亚马逊站点数据。
3、采集模块
1)采集区域一
输出:统计时间,全球排名,每百万访问人数,平均访问页面,PR值(外链综合价值),IP访问估值,采集时间。
--统计时间:为采集区域三的统计结束时间。
2)采集区域二,不进行采集。
--因有统计时间的明细数据,需要时可再做逻辑统计。
3)采集区域三
Rank输出字段:统计时间(appc),Rank值,采集时间。
--30天的数据均需要存储
Index输出字段:统计时间(appc),Index值,采集时间。
--30天的数据均需要存储
Reach输出字段:统计时间(appc),Reach值,采集时间。
--30天的数据均需要存储
Page View输出字段:统计时间(appc),Page View值,采集时间。
--30天的数据均需要存储
2.2、新增外部流量数据统计表,按统计时间进行数据存储。
1、数据来源:apppc采集数据
2、统计逻辑:按统计时间(appc)进行统计。
3、存储更新逻辑:按统计时间进行存储;增量更新。
4、数据输出:统计时间(apppc),站点,全球排名,每百万人访问人数,平均访问页面,用户指数,PR值(外链综合价值),IP访问估值,采集日期,更新时间。
5、字段释义
--统计时间:唯一键,apppc的数据统计时间。
--站点:亚马逊各个站点。
--全球排名:采集采集区域三 下的Rank值。
--每百万人访问人数:采集采集区域三 下的Reach值。
--平均访问页面:采集采集区域三 下的Page View值。
--用户指数:采集采集区域三 下的Index值。
--PR值(外链综合价值):采集区域一 下的PR值(外链综合价值)。
--IP访问估值:采集区域一 下的IP访问估值。
--采集日期:最新的采集时间
--更新时间:统计时间发生变更的时间;eg:7-5采集到 统计时间7-1的数据 A 与7-3采集到 统计时间7-1的数据 B,进行对比,若发生变更则更新且记录变更时间。
三、验收标准
1、采集数据准确
2、每天采集数据正常

