当前位置：首页 > 存储 > 大数据 > 正文

当大数据真的变得更好时

来源：IBM大数据专家作者：James Kobielus

2014/9/10 11:28:32

大中小

当“大”妨碍到了获取预测性洞察力时，越大并非越好。用户不希望自己的大数据分析努力成为数据规模扩张的牺牲品。数据科学家也必须充分了解应该何时调整数据模型的大小，以适应手中的分析任务。

分享到：新浪微博腾讯微博

本文关键字：大数据

大数据并不是一把万能锤子，而每一个问题也不是一个靠锤子就可以解决的钉子。许多人认为大数据意味着越大越好。人们也常常从各种哲学视角来诠释“越大越好”这一问题。对此我将这些角度归纳为：

信仰：是指容量更大、速度更快和种类更丰富的数据总会带来更多洞察力，而这正是大数据分析的核心价值。如果我们无法发现这些洞察力，那是由于我们没有充分认真地尝试，或是我们的灵活程度还不够，或者是我们没有使用正确的工具和解决方案。

偶像：是指数据的庞大容量本身就是有其价值的，与我们是否能够从中获得特殊的洞察力无关。如果我们仅凭其所支持的特定商业应用来评估它们的效用，那么在这方面，我们是与数据科学家们当前的需求是不一致的，数据科学家们的需求是将数据不加分别地存储到数据湖中，以支持今后的探索工作。

负担：是指数据的庞大容量未必是好事或坏事，但是一个无法改变的事实是，它们会对现有数据库的存储和处理能力带来极大的压力，并因此让（Hadoop等）新平台成为必需品。如果我们不能跟上这些新数据增长的步伐，那么核心的业务需求将被迫转向新型数据库。

机遇：在我看来，这是一个处理大数据的正确解决方案。随着数据规模上升至新的层次，流动的速度更快，数据的来源和格式不断增长，这一解决方案将重点放在了更为高效地获取前所未有的洞察力方面。它没将大数据作为一种信仰或偶像，因为它知道即便较小的数据规模也能够持续获得许多不同的洞察力。它也没有将数据的规模视为一种负担，而是视为一种挑战，这种挑战能够通过新的数据库平台、工具和实践加以有效应对。

2013年，我在博客中曾就大数据的核心使用案例展开过讨论，但当时只涉及到如上方程式中的“机遇”部分。晚些时候，我发现大数据中“大”这一核心价值源自于能否用增加的内容揭示出所增加的背景环境。在你分析数据以探查其完整意义时，背景环境自然是越多越好。同样的，当你尝试着在自己的问题范畴中识别出所有的变量、关系、模式以找到更好的解决方案时，内容也是越多越好。总之，越来越多的内容加上越来越多的背景环境，通常会导致数据也变得越来越多。

大数据的另一个价值在于，它们能够纠正那些小规模数据所产生的错误。曾经有观察过该问题的人说过，对于数据科学家而言，在训练集中数据偏少意味着他们更容易受到多个模型风险的影响。首先，数据规模偏小可能会导致用户忽视关键的预测性变量。同时，用户选择没有代表性的样本导致模型出现偏差的几率变大。此外，用户可能会找到一些虚假关系，如果用户拥有能够揭示实际发挥作用的基本关系的完整数据，那么他们就能够识别出这些虚假关系。

规模非常重要

所有的人都认为，一些数据类型和使用案例比能够带来新洞察力的数据更有帮助。

我近期偶然看到了一篇名为《大数据的预测模式：越大就越好吗？》文章，文章对数据的一个特定范畴——稀少的细分行为数据进行了详细阐述。在这方面，数据规模通常能够提升预测成绩。文章的作者Junqué de Fortuny、Martens和Provost称：“这类数据集的一个重要问题是它们通常都比较稀少。对于任何给定的实例，绝大多数特征都没有价值，或是价值没有表现出来。”

最值得关注的是（作者通过引述丰富的研究来支持他们的论点）(+微信关注网络世界)，这类数据是许多以客户分析为重点的大数据应用的核心。社交媒体行为数据、Web浏览行为数据、移动行为数据、广告反应行为数据、自然语言行为数据都属于这类数据。

作者认为，“实际上，对于大多数预测分析型的商业应用，例如金融业和电信业的定向市场营销、信用评分、损耗管理等应用，用于预测分析的数据都非常相似。这些产品的特点都集中于个人的背景特征、地域特征和心理特征，以及诸如优先购买行为等一些通过统计总结出来的特定行为。”

“更大的行为数据集往往会更好”的关键原因非常简单，作者认为“没有大量的数据，一些显著的行为可能就无法被有效地观察到。”这是因为在零散的数据集中，行为被记录的人可能只会展示次数有限的行为。但是当你放眼整个人群时，每一种特定类型的行为你可能会观察到至少一次，或者在特定的环境中观察到多次。如果数据偏少，那么所观察的目标和观察到的行为特征也就会偏少，这将导致你会忽略许多东西。

预测模型所依靠的正是源行为数据集的丰富性。为了在未来的更多场景中预测更为精准，数据规模通常是越大越好。

当越大等同于越模糊时

尽管如此，该文的作者也提到了一些场景。在这些场景中，越大越好的假设不成立，那么我们就不得不使用特定行为特征的预测价值。这时候，权衡取舍就成为了预测行为模型的基础。

预测模式中每一个增加的行为特征，应该与所做的预测充分地联系起来，以提升模型的学习收益和预测能力，克服不断拉大的差异，即过度拟合和预测错误，因为这通常会产生更大的特征集。正如该文章作者所说的那样，“大量不相关的特征只是增加了差异和过拟合的机率，而没有相应地提升学习到更好模型的机率。”

显然当“大”妨碍到了获取预测性洞察力时，越大并非越好。用户不希望自己的大数据分析努力成为数据规模扩张的牺牲品。数据科学家也必须充分了解应该何时调整数据模型的大小，以适应手中的分析任务。

责编：李玉琴