大数据的存储和搜索面临很大挑战

来源:CIO时代网    
2013/7/16 17:05:37
大数据是网络时代的未来,并且正在逐渐走进我们的生活,起作用越发的显著,大数据的深刻影响各行业的发展轨迹,围绕大数据的变革一触即发。

本文关键字: 大数据 云计算 移动终端

大数据并非是一个全新的概念,早在1980年,阿尔文托夫勒就在《第三次浪潮》一书中预言了由数据构成的“碎片化未来”,并将海量数据赞颂为“第三次浪潮的华彩乐章”。然而,大数据真正流行起来是在2011年之后,数据量呈几何指数上升,物联网云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降,促使大数据一时间成为了各方视线的焦点。

首先,伴随着移动终端、传感器的迅速普及以及社会化媒体等互联网应用的日益多样化,数据量呈现出爆发式的增长,数据集的规模已经达到了TB甚至是PB的级别。这些海量的、碎片化的数据不仅能够较为完整地刻画出人们在线行为,还可以通过各类传感设备的数据来记录实体经济的运行状况。

其次,数据的种类也愈发丰富,不仅包含文本内容,还包括图片、音频、视频等非结构化数据,为数据的存储和搜索带来了很大挑战,这意味着传统意义上适用于文本内容存储和分析的数据库关联算法、语义分析等手段已经渐渐失效。

第三,大数据蕴含着巨大的价值,但相比于庞大的数据规模,其价值密度却是非常稀疏的,可谓是“浪里淘沙、弥足珍贵”。例如,公安视频监控系统需要7×24小时的记录,但用于犯罪证据获取的也许只是短短数秒;对于零售产业的推荐系统,也只有通过海量数据的分析,才能进行较为精准的预测。

第四,大数据需要实时的记录与响应,如动态的股价、路况信息以及电子商务的交易数据等,都需要实时的调用和处理,才能够充分体现出数据的价值所在。此外,社会化媒体、社交网站中的关系数据成为了大数据的价值倍增器,这是因为人们已经不可避免地镶嵌于人际关系网络中,个体的影响力会经由社交网络快速蔓延。

不久前,作为全球最大零售商的沃尔玛也充分意识到了关系数据的重要性,在其社交基因组(Social Genome)计划中整合了用户在Facebook、Twitter中的关系数据,用以更精准地推测消费者的偏好。 综上所述,大数据的基本特征可以概括为规模化(Volume)、多样性(Variety)、高价值(Value)、速度快(Velocity)以及社会化(Social)等五个特点,即“4V 1S”的特点。这样的大数据浪潮,也深刻的影响了各个传统行业的发展轨迹,变革一触即发。

责编:驼铃声声
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
流动存储 为大数据而生

伴随信息技术的突飞猛进,更大量级的非结构化数据与结构化数据构成的大数据成为企业级存储所面临的最大挑战:一方..

磁盘阵列及虚拟化存储

利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。虚拟化存储,对存储硬件资源进行抽象化表现。

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918