云数据库应用研究

来源:万方数据  
2014/4/8 10:54:31
从实际出发分析了传统数据库面临的问题,提出用云数据库来解决问题。对云数据库技术的发展和现状进行了阐述,分析了当前主流云数据库的特点和优势,并采用HBase 作为云数据库平台进行了实验研究。

本文关键字: 云数据库 HBase 数据库
3)数据库集群的抗毁性。
 
云数据库的抗毁性是其中一个很重要的性能指标,主要体现在数据节点的容错性和Master 节点的动态备份容错。针对这两点设计实现了如图4 所示的实验。
 
 
数据节点的容错性实验:在搭建好数据库集群中创建表并写入一定量的数据,手动进行负载均衡让数据平均存放在每个节点中。然后,再在数据节点集群中kill 一定数量的节点,并检测数据是否可用。结果是:当down 掉的数据节点小于集群配置dfs.replication的数据副本数时,该集群的数据始终保持可用。
 
Master节点的动态切换:Master 节点是管理数据的元数据表,表的查询都要经过元数据表的索引,所以Master 节点具有唯一性,并且Master 必须要高可靠。设计如图5 所示的实验。
 
 
两个节点同时运行HMaster 服务,其中一个为主Master,另一个为备份Master 并与主Master 保持同步。在数据库集群正常运行的情况下,在主Master 节点中kill 掉HMaster 进程,集群在经过zookeeper.session.timeout 定义的时间之后,检测到主Master 节点不可用,这时集群将进行Master 节点的切换,并且之前数据库的数据不会丢失,整个集群依然可用。所以,备Master 在主Master 出异常不可用后将接替其管理HBase 数据库的功能。
 
4、实验结果
 
通过实验可以看出HBase 在可扩展性、海量数据存储、高可用性以及管理和运行维护方面具有很大的改进和提高。
 
在动态可扩展性方面:实验表明HBase 在添加存储节点对数据库进行扩容的过程中,数据库没有停止服务,并且也不要求物理机具有相同的架构。说明HBase 的扩展是在线、动态具有弹性的。从而使得HBase 可用于提供弹性服务,在服务峰值动态加入大量节点用以满足服务请求,提高服务质量。而在低谷时期则关闭大量节点,这样可减少能量消耗降低成本。海量数据的读写性能方面:由于HBase 是基于HDFS 之上建立的,所以也继承了其Map/ Reduce 的计算模型,这使其具有优秀的读写性能。淘宝网通过优化HBase 使得在数亿条商品数据中查询指定商品的时间可以达到毫秒级。
 
高可用性方面:传统数据库设计时是考虑如何避免故障的发生,而HBase 则是以大的集群为出发点,把故障做为一个常态来进行对待。HBase 采用多Master节点同时运行的策略:其中一个Master 为主Master 提供服务,而其它的Master 节点则保持与主Master 的同步,当主Master 出错之后由Zookeeper 选举产生新的主Master 继续提供服务。对RegionServer 而言只要不同时有大于副本数目的节点失效则可保证数据一定可用。
 
另外,在低成本和易用性方面HBase 对传统数据库也有很大的优势。硬件方面HBase 只要求使用普通的商用服务器即可,软件则是开源,节约了大量成本。并且,HBase 屏蔽了物理层,对于客户端而言就像使用一个安装在本地的数据库,操作简单,维护方便。
 
5、结束语
 
文中提出了可以使用云数据库来解决当前传统数据库面临的诸多问题,并用HBase 做了验证性的实验。通过实验发现云数据库除了可以提供传统数据库一样的数据存储服务以外,还解决了目前传统数据库面临的问题,特别是在可扩展性方面具有无与伦比的优势。云数据库是未来数据库发展的主流方向,可以做为企业单位、科研院所和学校数据库的首选产品。
 
下一步实验和研究工作主要集中在云数据库性能的详细测试和分析,并根据实际的应用场景进行性能的优化。
共4页: [1] [2] [3]4 下一页
责编:李玉琴
vsharing微信扫一扫实时了解行业动态
portalart微信扫一扫分享本文给好友

著作权声明:畅享网文章著作权分属畅享网、网友和合作伙伴,部分非原创文章作者信息可能有所缺失,如需补充或修改请与我们联系,工作人员会在1个工作日内配合处理。
最新专题
IT系统一体化时代来了

2009年Oracle 用Exadata服务器告诉企业,数据中心的IT服务一体化解决方案才是大势所趋,而当前企业对大数据处理的..

高性能计算——企业未来发展的必备..

“天河二号”问鼎最新全球超级计算机500强,更新的Linpack值让世界认识到了“中国速度”。但超算不能只停留于追求..

    畅享
    首页
    返回
    顶部
    ×
      信息化规划
      IT总包
      供应商选型
      IT监理
      开发维护外包
      评估维权
    客服电话
    400-698-9918