|
关于大数据的八大热点问题如果存在数据科学,其学科问题的分类体系又是什么?目前已有的共识是,大数据的复杂性主要来自数据之间的复杂联系。另外,新型学习理论和认知理论等应当是数据科学的重要组成部分。 本文关键字: 大数据 大数据的热点问题: 1.数据科学与大数据的学科边界 这一问题综合了两个问题,即大数据的基本内涵与数据的科学问题。前者关注的是大数据的基本定义和基本结构。迄今为止,什么是大数据,在产业界、学术界并没有形成一个公认的科学定义,大数据的内涵与外延也缺乏清晰的说明。大数据区别于其他数据的关键特性是什么?IBM提出了3V的说法,即volume(体量大)、variety(模式多)和velocity(速度快)。尔后又有人提出了另一个V,即value(价值),表示大数据虽然价值总量高但其价值密度低。另外,大数据是否就意味着全数据,还有待进一步讨论与澄清。最后,还需要为动态、高维、复杂的大数据建立形式化、结构化的描述方法,进而在此基础上发展大数据处理技术。后者关注的是数据界与物理界、人类社会之间的关联与差异,探讨是否存在独立于应用领域的数据科学。如果存在数据科学,其学科问题的分类体系又是什么?目前已有的共识是,大数据的复杂性主要来自数据之间的复杂联系。另外,新型学习理论和认知理论等应当是数据科学的重要组成部分。 2.数据计算的基本模式与范式 大数据的诸多突出特性使得传统的数据分析、数据挖掘、数据处理的方式方法都不再适用。因此,面对大数据,我们需要有数据密集型计算的基本模式和新型的计算范式,需要提出数据计算的效率评估方法以及研究数据计算复杂性等基本理论。由于数据体量太大,甚至有的数据本身就以分布式的形式存在,难以集中起来处理,因此对于大数据的计算需要从中心化的、自顶向下的模式转为去中心化的、自底向上、自组织的计算模式。另外,面对大数据将形成基于数据的智能,我们可能需要寻找类似“数据的体量+简单的逻辑”的方法去解决复杂问题。 3.大数据特性与数据态 这一问题综合了三个候选问题,即大数据的关系维复杂性、大数据的空间维复杂性和大数据的时间维复杂性问题。大数据往往由大量源头产生,而且常包含图像、视频、音频、数据流、文本、网页等等不同的数据格式,因此其模态是多种多样的。主要来源于多模态的大数据之间存在着错综复杂的关联关系,这种异质的关联关系有时还动态变化,互为因果,因此导致其关联模式也非常复杂。大数据的空间维问题主要关注人、机、物三元世界中大数据的产生、感知与采集,以及不同粒度下数据的传输、移动、存储与计算。另外,还需研究大数据在空间与密度的非均衡态对其分析与处理所带来的理论与技术挑战。而大数据的时间维问题意图在时间维度上研究大数据的生命周期、状态与特征,并探索大数据的流化分析、增量式的学习方法与在线推荐。最后,研究大数据的离线与在线处理对时效性要求。 4.大数据的数据变换与价值提炼 这一问题主要由“如何将大数据变小”与“如何进行大数据的价值提炼”两个问题组成,前者要在不改变数据基本属性的前提下对数据进行清洗,在尽量不损失价值的条件下减小数据规模。为此,需要研究大数据的抽样、去重、过滤、筛选、压缩、索引、提取元数据等数据变换方法,直接将大数据变小,这可以看作是大数据的“物理变化”。后者可看作是大数据的“化学反应”,对大数据的探索式考察与可视化将发挥作用,人机的交互分析可以将人的智慧融入这一过程,通过群体智慧、社会计算、认知计算对数据的价值进行发酵和提炼,实现从数据分析到数据价值判定和数据制造的价值飞跃。 责编:王雅京 微信扫一扫实时了解行业动态 微信扫一扫分享本文给好友 著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。 |
最新专题 |
|