信息处理:核心是挖掘数据价值

来源:中国电子报  
2012/2/21 16:31:36

抓住物联网机会做强数据处理

物联网数据具有独特性,数据量更大,动态性、多结构化、连续性、时空特性更强。

海量数据是物联网的核心问题,而全球物联网产业并没有做好相关的技术与商业上的准备,以应对海量数据这一挑战。我国的物联网产业领军企业多来自无线传感网和标识技术厂商、系统集成商和专用中间件方案提供商,海量数据处理不是他们的强项,比较“十二五”规划提到的物联网海量数据存储和处理目标,现在还有距离,但未来融合的可能性使我们相信,物联网大数据处理的核心技术离中国并不远。

当然,并不是说互联网的大数据处理技术能简单融合进来。物联网数据具有独特性,数据量更大,动态性、多结构化、连续性、时空特性更强,噪声多,使用模式与物理世界的耦合度大,应用高度长尾化。相应的,我们需要在如下方面做得更好:大规模、分布式的数据管理和交换,分布式端-云协同分析技术,高容错的分析技术,实时和流处理技术,自适应的计算和数据迁移等等。

就普遍意义上的大数据而言,国外有较明显的优势,尤其在企业级解决方案上,我国在分布式计算和存储平台、分布式数据管理和处理、数据分析、可视化、终端用户工具、应用和服务各方面都有差距。

但国内的产业界具有后发优势,近一两年来取得了长足的进步,例如我国对Hadoop社区的贡献日益增大,互联网产业领先者对大数据软件开源动作频频。而在物联网大数据领域,国外并没有太多的先发优势。我们常说物联网很中国,是因为这里有物联网“健康生长”的独特土壤,在国外很少看到这样上下同心的力量,这样大的规模,这么快的速度,所以我们有更好的条件、更大的规模、更真实的测试床来部署新的技术。相对于跟踪而言,取长补短、合作创新是更可行的方式。在物联网和大数据方向上,英特尔也一直致力于这两方面的研究。我们希望能把这些成果引到中国来,探索与本地政府、产业界和学术界的协同创新。

数据服务蕴含巨大市场空间

数据服务是更大的一个产业,是一个真正产生持续收入、永远开采不完的油矿。

物联网的核心价值是数据,而数据处理和分析是核心的核心。现在每天产生的数据几乎等于从文明曙光初现到2003年上万年数据的总和,数据里面蕴含着巨大的价值,关键是如何从中发掘出信息和智能,并通过应用融入人们的生活中。

现在谈物联网产业往往说的是传感器、标识产业以及M2M产业,但我们认为更大的一个产业是数据服务产业,这是一个真正产生持续收入、永远开采不完的油矿,涵盖数据的产生、收集、托管、发现、分析和交易整个生命周期,其中钱包份额(Share of Wallet)最大的一块就是数据处理和分析,它产生的信息和智能将会是驱动未来信息世界和物理世界的基本燃料。

我们现在看到的商业智能如个性化的商品推荐、用户行为营销分析或者最优化的供应链管理,将成为巨大市场中很小的一份,更多的智能将内生在我们的衣食住行和工作中。

所有这些需要核心技术的突破,例如上下文感知计算/普适计算,实时和流数据分析,预测性(predictive)和规定性(prescriptive)分析。

加强产业协作推进模式创新

物联网发展需要政府的支持,也需要学术界与产业界的密切合作。

根据20年周期律,物联网和大数据是IT技术革命的第4波(继1950~1970的主机,1970~1990的PC,1990~2010的互联网)。我们很幸运在时间点上适逢这一浪潮的起点,在空间上处于这片最适合物联网的土壤,在攻克这些难题的道路上,不需要一个人战斗。物联网发展需要政府的支持,尤其是在客户认知不足、产业链不完整、技术体系不成熟的当今,政府的促进、引导和资金扶持不可或缺。同时,物联网的发展也需要学术界与产业界的密切合作:技术体系的发展需要与国有或本地学术机构的合作,这样才能以一种前瞻的角度去审视标准和发展方向;应用和商业模式的推广更需要与产业界的联合,物联网的建设离不开本地的物理世界,绝大多数物联网数据本地产生、本地消费、受本地法规的制约(这跟互联网有本质区别),这需要做好跟本地企业的互利共生。英特尔作为跨国公司,“融入中国”是既定方针,在推动技术层面创新的同时,我们也会积极探索与政府、学术界和产业界的合作模式和体制上的创新。

专家观点

IBM中国研究院首席架构师邵凌

“需要格外关注"时空数据"(指包含着时间信息和地理信息的数据)处理。”

对照《物联网“十二五”发展规划》(以下简称“规划”)中提及的关键技术与架构部分,我们提出的架构有很多地方与之吻合,也有一些地方是“规划”中没有重点提及的。比如物联网的数据处理与过去的数据处理相比,需要格外关注“时空数据”(指包含着时间信息和地理信息的数据)处理,但是规划中提及的不多。数据处理应该包括数据收集、存储、查询、分析、展示等,在物联网之下,很多数据是包含时间信息和地理位置信息的,要求快速处理、容易查询、减少时延,既能够查询结构化数据也能够快速查询非结构化数据,这与传统的数据处理不一样,也是物联网数据处理中很大的挑战之一。

还有一个在规划中没提及的挑战是当数据量大到一定程度之后,会带来处理上的延时与系统上的问题。实时快速地处理大数据,需要很高的效率,需要软硬系统更紧密地整合优化,来应对数据的实时处理要求。

在数据处理的研发上需要加强沟通与合作。物联网是以应用为导向的应用学科,需要考虑和针对具体的应用场景,而物联网的数据处理研究需要借助规模大到一定量级的数据,只有规模够大,研究出来的成果才有可能有效。所以我们很期待国家推动物联网应用示范时能够有这样的对接环节,在不涉及安全的范围内,引导各个行业、领域物联网的应用机构将数据集拿出来,提供给研究机构进行相关的研究。在这个方面我们可以参考国外一些行业组织的做法,例如OpenSG。

太极集团电子政务研发中心智慧城市事业部常务副总经理肖益

“在大规模的物联网应用之后,信息所覆盖的面与规模就与原来大不一样了。”

应该说在物联网概念提出之前,很多的应用、技术和需求都是存在的,比如感知技术、传输技术、数据分析和数据处理技术等。智慧地球、物联网概念提出之后,大家更重视、更关注到这些应用和相关的技术。在大规模的物联网应用之后,信息所覆盖的面与规模就和原来大不一样了,数据处理的量、规模、质量、实时性等方方面面要求也不一样了,提出了更多的挑战。

我们就以电子政务中的指挥系统为例。我们都知道每一个城市的指挥系统进行各种数据的汇聚与分析之后是要进行相关决策的,需要下达一定指令。过去数据收集、分析之后的指令下达是通过应用系统、人或手持终端来完成的,现在或未来就需要透过感知设备来完成下达,这样对感知设备提出了更多的挑战,需要融合多种技术。

在数据处理上与国外的差距不是在物联网概念提出之后才有的,数据存储、数据挖掘、数据分析等核心技术原来就与国外存在一定差距。我们希望透过“十二五”国家大力发展物联网的契机,能够改变我们在关键技术领域跟随和被动的状态,加快我们在这些关键技术领域的突破。要想实现更大的突破,国家在投入方式、验证方式上需要做改变,在产业分工上也需要更多的协调,引导产业发展。

金蝶中间件有限公司总经理奉继承

“在感知、传输过程中的数据交换与流动,是数据处理首先要解决的问题。”

现在中国物联网很热,但真正落地和见效果的应用与项目并不多。我认为在物联网领域最大的技术挑战是整合技术,大规模的数据处理、数据分析很重要,但首先要解决的是数据在感知、传输、流动过程中的数据交换与流动问题。

数据处理和数据分析的攻关与研发要与物联网的具体应用模式结合起来。如果应用模式、应用场景不清楚,闭门造车做出来的数据处理技术很难适合应用的要求。目前国家对物联网应用示范工程的重视程度还不够,需要加大推动力度,在推动过程中发现问题并解决问题。

推动物联网应用遇到的最大问题是行政体制上的条块分割。物联网的目标是实现无边界的数据交换、数据流动,如果不能够克服、打破体制机制上的条块分割问题,就很难将真正的物联网建立起来。比如食品安全、药品安全需要建立全程的追溯跟踪系统,牵扯到很多部门与机构,就需要政府在做区域示范、行业示范工程的时候,实际解决这些问题。

责编:James Sun
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
畅享
首页
返回
顶部
×
    信息化规划
    IT总包
    供应商选型
    IT监理
    开发维护外包
    评估维权
客服电话
400-698-9918