大数据时代要有大方略

来源：学习时报

2012/7/10 18:25:57

不是我不明白，这世界变化快！ 2000年还是一张软盘打天下的时代，短短十多年光景，硬盘的存储容量已从 4GB、16GB、32GB迅速攀升到1TB。原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的，到现在硬盘容量蹿升至1TB了，反而感觉存储空间捉襟见肘，到底是哪里出现了问题?

分享到：新浪微博腾讯微博

本文关键字：大数据大方略

数据产生的大背景

大数据！一语惊醒梦中人，大数据时代已经悄然来临。随着社交网络的逐渐成熟，移动带宽迅速提升，云计算、物联网应用更加丰富。更多的传感设备、移动终端接入网络，由此产生的数据及增长速度迅速攀升。

一项对531名独立OracIe用户进行的调查发现，90%的企业的数据量在迅速上涨，其中 16%的企业的数据量每年增长率达到 50%或更高。不少企业已经感受到失控的数据增长对绩效造成的冲击，其中 87%的受访者将企业的应用程序性能下降归咎于不断增长的数据量。调研机构IDC在2011年6月的报告则显示，全球数据量在2011年已达到 1.8ZB，在过去5年里增加了5倍。

1.8ZB是什么样的概念呢？如果把所有这些数据都刻录存入普通DVD光盘里，光盘的高度将等同于从地球到月球的一个半来回也就是大约72万英里。相当于每位美国人每分钟写3条 Twitter微博，而且还要不停地写2.6976万年，是不是很恐怖？这还不是最恐怖的，IDC还预测全球数据量大约每两年翻一番，2015年全球数据量将达到近8ZB，到2020年，全球将达到35ZB。

所谓的大数据最直白的理解是海量数据，通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费很多时间和金钱。调研机构IDC认为，某项技术要想成为大数据技术，必须满足IBM所描述的三个“V”条件，即多样性(Variety)、大容量(VoIume)和时效性高(VeIocity)。

北京时间2012年3月29日，美国政府宣布了“大数据研究和发展倡议（BigDataResearchandDevelopmentInitiative）”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。该倡议涉及联邦政府的6个部门（美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局）。这些部门承诺将投资总共超过两亿美元，来大力推动和改善与大数据相关的收集、组织和分析工具及技术。此外，这份倡议中还透露了多项正在进行中的联邦政府各部门的大数据计划。

其实最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

事实上，全球互联网巨头都已意识到了大数据时代数据的重要意义。包括EMC、惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合，亦可见其对大数据的重视。

大数据的主要特点

要理解大数据这一概念，首先要从“大”入手，“大”是指数据规模，大数据一般是指在 10TB（1TB=1024GB）规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结（Vol-ume、Variety、Value和Veloc-ity），即体量大、多样性、价值密度低、速度快。

第一，数据体量巨大。从 TB级别，跃升到 PB级别。第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的“大数据”不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

大数据应对的大方略

当下我国大数据研发建设应在以下四个方面着力。

一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。

二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。

三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。

四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

责编：罗信