|
|
打造Hadoop发行版精品 - 星环TDH3.4新版概述近日，星环信息科技（上海）有限公司在纽约召开的Strata Conference ＋ HadoopWorld大会上发布了Transwarp Data Hub 3.4新版本Hadoop发行版软件。 其中一些算法已经成功运用在电商和网络电视的推荐系统中。 ● Inceptor3.4提供了更完善的R语言支持，现在使用R语言进行数据挖掘的用户，可以在R语言中执行SQL语句，并把SQL的结果传给机器学习算法。多个机器学习算法的结果也可以继续传递给后续算法，可以组成一个pipeline，方便用户对数据进行多轮分析和挖掘。 更稳定可靠的Spark计算引擎，可处理GB到PB级别的大数据量： ● Inceptor 3.4的重大改进是提高了Spark引擎处理大数据的能力以及性能的稳定性，通过设计全新的内存换出机制并改造多个Spark操作原语，可以在大数据量上稳定地运行复杂的SQL，并且在大数据量上的运行性能全面超越Hive和Map/Reduce。 ● 星环已经实现了大数据量复杂SQL算法的高性能和稳定性，并且已经成功替换Oracle/DB2和小型机的组合，运用在上海移动和广东移动的复杂经营分析场合。 Hyperbase3.4 － 更全的SQL支持和索引支持 Hyperbase 3.4的新功能主要包括了对Inceptor SQL的更好支持上，Hyperbase从3.4开始同步支持Inceptor的SQL语法，可通过SQL对Hyperbase进行单条记录的增删查改。 新版本提供了星环科技开发的一个新的专有ODBC驱动程序（windows版本），可以通过ETL 工具支持从现有关系数据库实时同步更新数据到Hyperbase，这个功能对实时数据仓库或者ODS来说是必不可少的，目前美国友商的相应Hadoop产品还只能支持批处理，不能和关系数据库进行实时同步。 Hyperbase 3.4提供了更好的索引支持，并且Inceptor SQL引擎可以充分利用Hyperbase的内建索引来加快查询速度。在有索引的情况下，查询的延时降到了百毫秒级别。为了支持更复杂的索引，Hyperbase 3.4充分利用了新设计的代价优化器，可以自动根据访问索引的代价选择最佳索引。 Stream 3.4 － 更快、更稳定、更安全 Stream 3.4流处理引擎进一步提高了读取Kafka分布式队列中数据的吞吐性能，并且为Kafka提供了安全认证和访问控制功能。Kafka的安全控制功能目前在开源版本或者友商的发行版中都不具备，也侧面说明了友商的Kafka或者流处理引擎目前没有实际部署。对跨地域分级部署的流处理集群而言，缺乏安全机制是致命弱点，特别是跟公共安全相关的应用，将导致系统由于安全原因无法实施。此外，Transwarp Stream 的稳定性也得到验证，最近在某省的全省交通指挥监控系统中上线并且能够7x24运行，端到端延时控制在了2秒以内，是目前国内在线运行的大规模流处理集群的少见案例。 总结 此次星环科技在美国纽约发布的新版本，在多项核心功能和性能指标中已经领先于美国友商，也吸引了多家金融客户的关注。 责编：李玉琴  微信扫一扫实时了解行业动态 著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。 |
热门博文 |
|
|
战略咨询工具大全(PPT116).ppt
战略咨询分析工具及使用方法.pd..