大数据背景下的社会经济预测.pdf

1、中国科学院大学 管理学院 刘颖 13522901696 2013年 11月 大数据背景下的社会经济预测研究 2 主要内容 大数据应用的三个层级 透视电商交易背后的用户行为规律 基于网络数据的股票市场预测 百度中小企业景气监测研究 未来研究展望 3 大数据概念的兴起 2012年 3月，美国奥巴马政府宣布投资 2亿美元启动“大数据研究和发展计划”，是继 1993年“信息高速公路”计划后的又一次重大科技部署。大数据研究成为综合国力的组成部分，对未来科技、社会、经济产生深远影响。 Google trends 上对大数据的关注度 百度指数上对大数据的关注度 4 大数据经济领域 应用的三个层级 微观层面

2、：企业推动，精准营销、生产运营 Target超市怀孕商品精准定位、 1号店 Amazon一年 500亿美元销售额中，关联推荐占 1/3；网页慢 0.1秒，顾客活跃度降低 1%；网页延迟 1秒，年损失 16亿 淘宝网购买力提升研究 获得阿里巴巴“最佳学者”称号 淘宝网购物达人挖掘 中观层面：典型行业 典型行业的销售预测：电商、汽车、地产、物流、旅游 基于网络搜索数据的股票市场预测 宏观层面：宏观经济 状况 的反映、指标预测 美国失业率的预测 美国消费者信心指数的构建 CPI、中小企业景气 5 透视电商交易结果背后的用户行为规律 微观层面的研究实例 网购市场繁华背后，用户完成交易走过了哪些路径？

3、不同类型的用户，适合于哪种营销方式？ 6 某图书网站的页面分类 站内搜索( S )主题书店T图书种类K畅销书作家U 订单成功( y )热门出版社P特色专题J周三抢购B首页( H ) 图书最终页面( I ) 购物车( C ) 帐户( A ) 订单( O )重点推荐（部分 帮助( L ) 订单删除( n )本周销售排行专业书店（部分 (商品购买)搜索引擎导入(商品查找)导航首页推广基于日志数据的用户访问路径分析 数据来源 :某图书网站日志数据（ 2008年 6月 17日 6月 25日 ） 7 访问路径的识别 类型 用户 访问路径 无购买 1 I 2 HATATTHH 3 ISAICCCKASA 购

4、买 4 IHASASASACCCACSAIIAACCOAOyIIIII 5 ILAAIIIAAAAAAAAHAHASAICCCOAOOOOLOOOAy 6 HAOAAOAAAOCCOAOOOyAAAA 基于日志数据的用户访问路径分析 8 当前状态 H T K U P J S C A O y n L I M 先前状态 H 5% 0% 0% 0% 0% 0% 1% 0% 89% 1% 0% 0% 0% 2% 0% T 2% 47% 2% 0% 5% 1% 2% 3% 24% 0% 0% 0% 0% 15% 0% K 0% 1% 25% 0% 11% 0% 0% 1% 36% 0% 0% 0% 0%

5、 24% 0% U 0% 5% 10% 20% 11% 0% 0% 0% 5% 0% 0% 0% 0% 46% 2% P 0% 1% 8% 0% 39% 1% 1% 3% 4% 0% 0% 0% 0% 40% 3% J 1% 6% 3% 0% 6% 25% 3% 8% 7% 1% 0% 0% 2% 35% 2% S 0% 1% 0% 0% 0% 0% 19% 0% 72% 0% 0% 0% 0% 7% 0% C 0% 2% 1% 0% 4% 1% 3% 64% 8% 9% 0% 0% 0% 7% 0% A 2% 4% 16% 0% 2% 1% 22% 11% 27% 7% 0% 0% 1% 7

6、% 0% O 2% 1% 0% 0% 0% 0% 1% 4% 33% 52% 4% 1% 2% 1% 0% y 13% 4% 1% 0% 0% 0% 4% 7% 12% 44% 4% 0% 5% 5% 0% n 2% 0% 0% 0% 0% 0% 0% 4% 6% 55% 0% 33% 0% 0% 0% L 3% 2% 0% 0% 1% 3% 5% 4% 10% 8% 0% 0% 55% 6% 2% I 0% 1% 4% 0% 8% 1% 2% 2% 2% 0% 0% 0% 0% 75% 5% M 7% 2% 0% 0% 6% 1% 0% 0% 0% 0% 0% 0% 0% 61% 22% 初

7、始状态 4% 1% 0% 0% 2% 0% 0% 0% 1% 0% 0% 0% 0% 86% 4% 结束状态 1% 1% 1% 0% 2% 1% 1% 1% 4% 1% 0% 0% 1% 86% 0% 假设先前状态为 i，当前状态为 j，所有路径中 i到 j的转换次数记为 Nij： 定义前向概率： ij15ijj1NN前向概率 前向概率以 先前状态 为基点（ i不变），计算 i下一步转换到 j的概率。 9 当前状态 H T K U P J S C A O y n L I M 先前状态 H 9% 0% 0% 1% 0% 1% 0% 0% 11% 1% 0% 0% 1% 0% 0% T 4% 46

8、% 1% 0% 2% 3% 1% 1% 4% 0% 0% 0% 1% 1% 0% K 1% 2% 25% 16% 8% 2% 1% 1% 15% 0% 0% 0% 0% 4% 1% U 0% 0% 0% 22% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% P 1% 4% 10% 21% 39% 6% 2% 3% 2% 0% 0% 0% 1% 8% 7% J 1% 2% 0% 0% 1% 20% 1% 1% 0% 0% 0% 0% 3% 1% 1% S 1% 1% 0% 0% 0% 0% 19% 0% 26% 0% 0% 0% 1% 1% 0% C 2% 6% 1% 2%

9、3% 4% 4% 63% 4% 17% 0% 0% 3% 1% 0% A 21% 21% 37% 9% 4% 13% 58% 20% 25% 27% 9% 2% 12% 2% 1% O 5% 1% 0% 0% 0% 0% 1% 2% 8% 49% 87% 62% 10% 0% 0% y 1% 0% 0% 0% 0% 0% 0% 0% 0% 1% 3% 0% 1% 0% 0% n 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 0% 32% 0% 0% 0% L 2% 0% 0% 0% 0% 1% 0% 0% 0% 1% 0% 2% 46% 0% 0% I 20% 13% 25% 2

10、9% 40% 45% 12% 10% 5% 1% 1% 2% 20% 76% 62% M 30% 3% 0% 0% 3% 5% 0% 0% 0% 0% 0% 0% 2% 7% 28% 后向概率 定义后向概率： ij15iji1NN后向概率以 当前状态 为基点（ j不变），计算 j的上一步由 i转换过来的概率。 10 最可能的前项路径 进入网站首页 H搜索 S主题 T种类 K作者 U出版社 P特色 J图书最终页面 I账户 A购物车 C订单 O成功 y取消 n4 . 3 %86 . 4 %1 . 2 %0 . 3 %0 . 4 %0 . 1 %0 . 1 %1 . 2 %6 . 5 %14 . 7

11、 %24 . 3 %45 . 9 %39 . 7 %35 . 3 %1 . 9 %首页推广88 . 9 %72 . 3 %1 . 7 %10 . 7 %7 . 2 %8 . 6 %3 . 7 %1 . 0 %1 . 8 %前向路径：从进入网站开始，连接具有最大前向概率的状态，形成前向路径，即用户进入网站开始，最有可能链接下一步的哪些页面。 基于日志数据的用户访问路径分析 11 最可能的后项路径 购买型用户最有可能的回溯路径 选择 订单确认页面 为后向路径的出发点，寻求此类页面最可能的路径来源 成功 y 订单 O账户 A购物车 C搜索 S图书最终页面 I种类 K出版社 P首页 H86 . 9 %

12、8 . 8 % 27 . 3 %17 . 3 %25 . 7 %14 . 6 %10 . 7 %19 . 5 %3 . 6 %9 . 7 %7 . 7 %3 . 5 %基于日志数据的用户访问路径分析 12 购买型用户的聚类 不 同 类 型 购 买 用 户的 促 销 策 略 选 择价 格 促 销价 格 承 受 水 平信 誉 重 视 程 度交 流 活 跃 程 度收 藏 频 繁 程 度( 购 买 行 为 特 征 )基 于 购 买 行 为 指标 的 聚 类 分 析 ，对 在 线 购 买 型 用户 进 行 细 分（ 购 买 型 用 户 细 分 ）( 促 销 敏 感 性 分 析 )购 买 思 考 时 间广

13、 告 促 销口 碑 促 销13 淘宝网 300万条交易数据 0.01.02.03.04.05.0价格水平口碑互动购买时间收藏行为店铺信誉精打细算型购物达人型游戏玩家型高价忠诚型风险厌恶型信誉至上型14 促销策略敏感度分析 价格促销 - 2.0%- 1.5%- 1.0%- 0.5%0.0 %0.5 %1.0 %1.5 %2.0 %- 3% - 2% - 1% 0% 1% 2% 3%精打细算型 购物达人型游戏玩家型 高价忠诚型风险厌恶型 信誉至上型价格促销对不同类型消费者购买量的弹性曲线15 促销策略敏感度分析 广告促销 - 0.5%- 0.4%- 0.3%- 0.2%- 0.1 %0.0 %0.

14、1 %0.2 %0.3 %0.4 %0.5 %- 3% - 2% - 1% 0% 1% 2% 3%精打细算型 购物达人型游戏玩家型 高价忠诚型风险厌恶型 信誉至上型广告促销对不同类型消费者购买量的弹性曲线16 促销策略敏感度分析 口碑促销 - 2.5%- 2.0%- 1.5%- 1.0%- 0.5 %0.0 %0.5 %1.0 %1.5 %2.0 %2.5 %- 3% - 2% - 1% 0% 1% 2% 3%精打细算型 购物达人型游戏玩家型 高价忠诚型风险厌恶型 信誉至上型口碑促销对不同类型消费者购买量的弹性曲线17 基于网络搜索数据的股票市场预测 中观层面的研究实例 18 网络搜索与股票市

15、场关联机制分析 网络搜索与股票市场的关联模型 策 略 选 择交 易 需 求 决 策 执 行市 场 表 现（ 影 响 因 素 ）跟 风 疑 惑 恐 惧经 济 资 金 行 业 公 司证 券 市 场 上 的 反 映需 求 阶 段 关 键 词先行-滞后关系基 本 面 因 素 心 理 因 素信 息网 络 搜 索 表 现指 数 量 价 板 块市 场 行 情 因 素价 格交 易 量选 择 阶 段 关 键 词 执 行 阶 段 关 键 词互 联 网 搜 索 数 据 上 的 反 映个 股 贪 婪信 息投 资 者 交 易 过 程注：实线代表投资者行为在股票市场的反映，虚线代表投资者行为在网络搜索的反映 股票市场与网

16、络搜索关系的概念模型 19 网络搜索指数合成方法 关键词时差关系判断： 020 00040 00060 00 080 00010 000 012 000014 000 020 06- 6- 2 20 07- 6- 2 20 08- 6- 2 20 09- 6- 2 20 10- 6- 2010 0020 0030 0040 0050 0060 0070 00上证指数收盘价 关键词 : 上证指数020 00040 00060 00 080 00010 000 012 000014 000 016 000 020 06- 6- 2 20 07- 6- 2 20 08- 6- 2 20 09- 6-

17、 2 20 10- 6- 2010 0020 0030 0040 0050 0060 0070 00上证指数收盘价 关键词 : 金融界关键词搜索趋势与上证指数走势的对比 20 网络搜索与股票市场关联机制分析 领先性搜索数据的特点： 搜索关键词所代表的经济含义具有预期、指示性的作用，这类搜索数据一定程度上反映了投资者的行为趋势 搜索关键词所代表的行为活动在传导流程上处于股票量价调整的前端，并具有一定的时间间隔，行为活动间隔股票量价调整越长，这类搜索数据的领先性越明显。 21 网络搜索指数合成方法 搜索数据预处理流程： 关键词的选择搜索数据的获取数据过滤关键词时差关系判定时差相关分析法K-L信息量

18、法先行关键词序列领先阶数合成权重先行关键词指数合成稳定性检验：互谱分析22 搜索指数与股票市场关系的实证检验 假设提出 H： 网络搜索指数与股票市场中的股价或收益率等结果性变量存在显著的关联关系，并且与其他指标（成交量、换手率）相比，网络搜索指数的解释力更强 。 23 搜索指数与换手率关系的实证检验 变量 符号表示 ADF检验 MacKinnon临界值 ADF检验结果 t-Stat 1% 5% 10% P值 上证指数收盘价 sp -0.60 -2.58 -1.94 -1.62 0.46 I (1) sp -3.29 -2.58 -1.94 -1.62 0.00 上证指数成交量 v -0.48

19、-2.58 -1.94 -1.62 0.51 I (1) v -8.09 -2.58 -1.94 -1.62 0.00 上证指数换手率 turn -1.24 -2.58 -1.94 -1.62 0.20 I (1) turn -6.57 -2.58 -1.94 -1.62 0.00 基本面指数 x1 -1.08 -2.58 -1.94 -1.62 0.25 I (1) x1 -2.31 -2.58 -1.94 -1.62 0.02 市场行情指数 x2 -0.31 -2.58 -1.94 -1.62 0.57 I (1) x2 -1.96 -2.58 -1.94 -1.62 0.05 行动倾向指

20、数 x3 -0.13 -2.58 -1.94 -1.62 0.64 I (1) x3 -4.02 -2.58 -1.94 -1.62 0.00 上证指数收益率 r -3.28 -2.58 -1.94 -1.62 0.00 I (0) 成交量变化率 rv -8.10 -2.58 -1.94 -1.62 0.00 I (0) 换手变化率 rturn -6.47 -2.58 -1.94 -1.62 0.00 I (0) 基本面指数变化率 rx1 -2.41 -2.58 -1.94 -1.62 0.02 I (0) 市场行情指数变化率 rx2 -2.22 -2.58 -1.94 -1.62 0.03

21、I (0) 行动倾向指数变化率 rx3 -10.07 -2.58 -1.94 -1.62 0.00 I (0) 搜索指数、股票市场变量的单位根检验 平稳性检验： 24 搜索指数与收益率关系的实证检验 收益率检验： 1 2 31 2 3t t tr s p c r x r x r x t12 2ttr s p c r t u r n r v t方程 自变量 :搜索指数变化率 自变量：换手与成交变化率 系数 P值 系数 P值 c -0.002 0.10 0.002 0.47 1 0.15 0.00 0.03 0.07 2 0.46 0.00 0.08 0.00 3 0.07 0.00 修正 R2

22、0.47 0.22 F统计量 55.68 26.97 F检验 P值 0.00 0.00 AIC -4.81 -4.43 说明搜索指数对股票收益率的解释能力明显强于换手率和成交量的解释力，由此证实了 H2中的推论。 25 关于股票市场的预测：“花旗杯”金融信息大赛 Keyword-list Manual add (only for advanced users) SE Recommendation TOP Baidu Google Adwords Data Mining keywords selection 26 花旗杯大赛： Data Mining Data Crawling Applicat

23、ion Transportation Network Network Transmission LevelsWeb Spider Winpcap 27 . Cross-spectral Analysis K-L Information Analysis Time Difference Analysis Low Frequency Filtering Data Filtering 花旗杯大赛： Four steps to get valid data 28 Index Prediction Simulated Annealing Approximate optimization algorith

24、m used widely Good performance in overall trend fitting Global Optimum Method Get exact solutions by solving linear equations Perfect and most optimum algorithm in math Stepwise Synthesis of Keywords(SSK) Developed by Dr. Liu Direct economic meaning in data fitting. 花旗杯大赛：预测方法选择 29 花旗杯大赛： Prediction

25、 Result Composite Index and day-returns curve according to our prediction result. Annual rate of return is 28%. 0100020003000400050006000700000.511.522.533.544.52006/7/10 2007/7/10 2008/7/10 2009/7/10 2010/7/10 2011/7/1037,4 Composite index30 0100020003000400050006000700000.511.522.533.544.52006/7/10 2007/1/26 2007/8/14 2008/3/1 2008/9/17 2009/4/5 2009/10/22 2010/5/10 2010/11/26 2011/6/1430,4 30,5 30,6 30,8 33,4 35,4 37,4 40,4 40,6 50,4 Composite IndexComposite Index and day-returns curve using different parameters. Highest annual rate of return is 31%. Lowest is 15% 花旗杯大赛： Prediction Result