如果你现在还没有加入大数据的阵营,那你想办法弄到一些。毕竟,竞争需要大数据。如果你的数据量很小,你将被竞争对手彻底打败。
作为顾问和IT公司向企业推销的另一个大项目,在大数据背后的猜想还存在很多问题。幸运的是,诚实的大数据实践者(又称数据科学家)从不放下怀疑态度, 并提出了一系列对大数据大肆宣传感到厌倦的理由。如下:
理由一,即使像Facebook和Yahoo!这样的互联网巨头也并非总是处理大数据,Google风格工具的应用是不合适的。
Facebook和雅虎运行其巨型集群机(功能强大的服务器集合)来处理数据。必须要进行集群处理是大数据的标志之一。毕竟,在家用PC就能处理的数据不能称为大数据。将业务拆分为小业务,使用一系列的计算机来处理每个小业务的必要性,是类似Google计算世界上每一个网页排名的大数据问题典型特点。
现在看来,对于Facabook和Yahoo!来说,每个业务都是用同样规模的集群机是不必要的。比如Facebook的情况,工程师提交给集群机的大多数任务都是 MB到GB的范围,完全可以在一台计算机甚至笔记本电脑上完成。
Yahoo!也存在类似的情况, Yahoo!集群机所处理的数据中位数只有 12.5GB,通常台式电脑不能处理这种任务,但一台配置较好的服务器完全可以胜任。
以上观点均提炼于Microsoft Research的一篇名为《 Nobody ever got fired for buying a cluster》的论文。论文中指出即使是在最渴求数据的公司,多数问题也不必集群处理。因为对于大量问题类型而言,集群是一个相对低效 甚至是完全不合适的解决方案。
理由二,大数据已经成为数据分析的代名词,这种定义是混乱的,并会起到反作用。
数据分析最早可追溯到为皇家粮仓的所有粮食制表统计,但是现在你必须要在数据前加“大”字,必要的数据分析已经卷入了一场较大但是用处不大的流行风暴中。例如,一篇文章告诫读者“ 3个步骤将大数据运用到你的小企业中”,其实小企业的数据量谷歌文档就能处理,更不说用笔记本的EXCEL了。
这就是说,实际上大多数企业处理的数据都是被Open Knowledge Foundation的Rufus Pollock所说的小数据。这很重要,这是一场“革命”, Pollock称。但它与大数据关系不大。
责编:李红燕
微信扫一扫实时了解行业动态 微信扫一扫分享本文给好友