爆炸式扩张的大数据王国

统计学专家、国防科技大学易东云教授为您讲述

它来势汹涌,颠覆了千百年来人类的思维惯例。

它勇立潮头,正成为新发明和新服务的源泉。

它身价不菲,被称为未来世界的新石油。

大数据发展的核心动力来源于人类对测量、记录和分析世界的渴望。数据就像一个神奇的钻石矿,当它的首要价值被发掘后仍能不断给予。数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,而绝大部分都隐藏在表面之下。

如今,大数据又开启了一次重大的时代转型,就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正在蓄势待发。

数据探奇:0和1的“生活大爆炸”

男人和女人主演着现实世界里的一幕幕大戏。来到虚拟世界,“0”和“1”代替人类成为了两大主角。当IT天才们运用无穷的想象力将它们神奇般地排列组合起来时,虚拟世界中的“0”和“1”便上演起现实世界里的“生活大爆炸”。

一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部信息内容可以刻满1.68亿张DVD;发出的邮件达2940亿封,相当于美国两年的纸质信件数量;发出的社区帖子达200万个,相当于《时代》杂志770年的文字量……

IBM的研究称,在整个人类文明所获得的全部数据中,有90%是过去两年内产生的,如果把这些数据储存在只读光盘上,这些光盘可以堆成五堆,每一堆都可以延伸到月球,2020年,全世界所产生的数据规模已是10年前的44倍。

这些爆炸式扩张的海量数据意味着什么呢?哈佛大学社会学教授加里·金认为,它意味着一场世界性革命的到来,庞大的数据资源使得世界各个领域都开始了数字化的进程。

“大家还没搞清移动PC时代的时候,移动互联网来了;还没搞清移动互联网的时候,大数据时代来了。”有人如此感慨。

到底什么是大数据?如果没有仔细关注过这个领域,也许这是一个很难让人轻松回答的问题。

实际上,大数据是一种现象而非一种技术,也并不是一个全新的概念,它是从“海量数据”“大规模数据”等相关概念发展演变而来的,是信息技术发展的必然阶段。

大数据的“大”是相对传统的“小数据”而言的。在之前的“小数据”时代,数据往往是用兆比特(MB)和吉比特(GB)来衡量的。进入大数据时代,我们要处理的是千倍、百万倍甚至是十亿倍级别以上的数据。如果将传统的数据分析比作“池塘捞鱼”,那么大数据时代就是在“数据海洋中织网捕鱼”。

不仅如此,现在我们面对的数据类型远不只是文本形式的,更多的是图片、视频、音频、地理位置信息等多类型的数据。

和云计算、物联网这些当下科技领域中的时髦概念一样,它的每一次出现都会让人联想到“高端大气上档次”这样的字眼。

全球知名的麦肯锡咨询公司提出:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于大数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

哈佛大学社会学教授加里·金认为:“庞大的数据资源使得世界各个领域都开始了数字化的进程,这意味着一场世界性革命的到来。”

今天,大数据时代已悄然来临,人类与世界的关系,将借助大数据的帮助,进入一个新阶段。

数据分析:预见未来的预言家

大数据的核心之一是预测,即从已知事件推测未知事件,用今天演绎未来。大数据时代最大的变革是放弃对因果关系的渴求,取而代之的是对相互关系的关注,也就是说,只要知道“是什么”,而不需要知道“为什么”,就能从大数据的相互关联中预测未来会发生什么,以及如何应对。

由此可见,大数据颠覆了千百年来人类的思维惯例。它对人类的认知和与世界交流的方式提出了全新的挑战,也为我们观察世界提供了一种全新的方法,即决策行为将日益基于大数据分析做出,而不是像过去那样更多地凭借经验和直觉。

今天,当人们不经意地向网络搜索引擎吐露自己的“小秘密”时,它却能以此洞察出更深刻的人类社会现象。一个典型的例子是,2008年谷歌推出了一个“流感趋势”网站,它建立的假设基础是:人们的身体在遭受疾病困扰时,会比在身体健康时花更多的时间搜索与疾病相关的内容。因此,通过分析一个国家在特定时期内流感相关搜索量,便可推算出病毒的传播情况。

事实证明这个预测相当靠谱。2009年,当甲型H1N1流感肆虐全球时,与习惯性滞后的官方数据相比,谷歌在处理了几十亿条搜索指令和4.5亿个数据模型后,准确地预测出全美流感病毒传播源分布图,为公共卫生机构提供了非常及时、有价值的数据信息。

这仅仅是基于网络产生的大数据“预见未来”的众多案例之一。生活中,当你仍然在把微博等社交平台当作抒情或发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判某种股票的走势,从而取得了不俗的收益。

此外,大数据在社会建设等方面的应用也令人惊叹,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起,都和大数据技术与应用的发展息息相关。

数据资源:未来世界的新石油

2013年,基于大数据开发项目,谷歌的无人驾驶汽车不断吸引着人们的眼球,也逐渐走进了人们的日常生活。上海警方曾利用监控摄像头产生的大量视频数据,抓捕了6000名犯罪嫌疑人。

大数据在各个领域的相关应用让人们看到了其巨大的潜在价值,并且开始了大数据的开发应用。2012年3月22日,美国政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并且表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分。

未来,对数据的占有和控制,有望成为陆权、海权、空权之外的另一类国家核心资产。2012年,联合国发布大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,人们如今可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。

在我国,百度也开始致力于开发自己的大数据处理和存储系统;腾讯提出,在目前数据化运营的黄金时期,如何整合这些数据将成为未来的关键任务。相关研究认为,大数据将为全球带来440万个IT岗位,每个大数据岗位还能催生出多个细分岗位。2020年,我国数据产业市场已形成了上万亿人民币的规模。

数据掌控:军事竞争的制胜法宝

2013年,震惊世界的“斯诺登”事件向世人披露了美国政府因国家利益对全国甚至世界范围的电话、互联网记录等众多数字痕迹进行了监视。其实,早在数年前,美军就已建立起强大的信息系统,当前运行的数据中心已超过772个,服务器超过7万台,还有约700万台计算机终端。

外军研究人员认为,在大数据时代,数据将会成为影响和决定军事行动的力量源泉。因此,数据的搜集、分析和处理能力以及基于此做出的决策将会是战场上制胜的关键因素。大数据的应用,在侦察预警领域,可以极大地提高信息优势,提升高价值军事情报侦察的能力;在指挥控制领域,将显著增强对数据的智能处理和决策能力,有效地提高指挥控制水平。

在信息通信领域、信息对抗和火力打击领域、综合保障领域,大数据的作用同样令人惊叹,占领大数据的制高点也就优先获得了军事战场上的主动权。