当消息传递软件制造商Synchronoss Technologies Inc.的数据科学家于2014年开始实施一个新项目，从他们的业务中产生的大量数据中存储、管理和提取见解时，他们认为他们已经找到了他们祈祷的答案：一款名为Hadoop的红火软件。Hadoop在几乎无限数量的计算机上分发和组织数据，比传统数据中心便宜得多。因此，Synchronoss公司最终承诺将启用大型数据集，即所谓的"大数据"（big data），以产生公司一直希望的从客户到自身运营的所有方面的洞察力。"我们可以把所有东西都放进去，"Synchronoss工程副总裁Suren Nathan说，数字转型和分析。他们就这么做了。但这一切很快就变成了内森所说的"噩梦"。由于Hadoop没有关键的发现、搜索等服务，"它就成了数据的垃圾场"。当然，有工具可以让混乱的局面恢复秩序。但在当时免费的Hadoop生态系统中，Synchronous的工程师们要想办法把十几个或更多的开源软件组件放在一起，而这方面的专业知识很难获得。""丛林知识，"内森叹了口气。Synchronoss的经历太常见了。就在去年秋天，研究公司Gartner Inc.估计，85%的企业大数据项目失败了。至少，作为一种主流商业工具，大数据似乎注定要加入硅谷的耻辱堂。安静的革命这是否意味着大数据的整个概念都失败了？甚至没有接近。事实证明，数据是一种不容忽视的重要资产。事实上，它被大多数公司视为最重要的资产。这就是为什么这些失败——以及顽固的、断断续续的努力扭转局面——实际上催生了全新的产品和服务，从现成的数据仓库到数据即服务，再到云中的机器学习。他们为企业客户提供价值，而不必为集成和管理带来麻烦。因此，大数据非但没有淹没在自身的复杂性中，还包括利用它的各种工具和服务，已经改变了公司与客户的关系方式，并催生了改变我们日常生活的服务。这也推动了数字化转型的必要性，使整个行业从零售到媒体再到软件都发生了翻天覆地的变化。最重要的是，它为人工智能和机器学习的革命奠定了基础，它将以工业革命以来没有见过的方式重新定义商业和社会。大数据正在蓬勃发展，即使这项业务看起来与先驱者的设想大不相同。据SiliconANGLE Media旗下的国际数据公司（International Data Corp.Wikibon）称，到2020年，它将成为一个价值2000亿美元的产业，最近，由于亚马逊网络服务公司（Amazon Web Services Inc.）、微软公司（Microsoft Corp.）和谷歌公司（Google Inc.）等公共云计算提供商的支持，该公司最近将2017年全球市场增长率的预期（见下）上调至24.5%。Synchronoss的Suren Nathan（图片：Twitter）但大数据在很大程度上是一项正在进行的工作，市场将采取何种形式仍然不确定。软件供应商继续努力在开源生态系统中找到一个可持续的商业模式，而云计算提供商正在迅速占领越来越大的企业业务份额。在预包装的大数据服务领域也有一个巨大的市场，商业客户可以直接购买，而不是自己混合。这种迅速成熟的供应商生态系统和新兴的基于云的选择使大数据不再是一种自己动手的选择，使用户能够更多地关注应用程序而不是技术。有一点是肯定的：不掌握大数据基本原理的公司，未来会发现自己越来越边缘化。本周，随着SiliconANGLE的BigData SV在加州圣何塞召开的Strata Data大会上召开，SiliconANGLE收集了行业内的各种意见，以了解大数据的发展方向。简言之，它是以服务、平台和产品集成的形式存在于云计算之上的，这将使数据成为商业活动中不可或缺的一部分。掌握大数据需要纪律和文化的转变，不仅要将数据视为运营的必需品，而且要将其视为战略资产，即使这种资产通常不会出现在资产负债表上。"数据集成提供商Talend SA的首席执行官Mike Tuchen说："成功的模式来自于那些对他们试图实现的目标有明确目标的企业。"他们知道他们需要获取的数据、想要运行的分析以及价值的来源。"以Synchronoss为例：它最终解决了数据湖问题，它建立了一个治理过程，其中包括分类法、访问控制、元数据和一组有限的数据定义。它还转移到MapR Technologies Inc.的所谓聚合数据平台，该平台提供了一套，支持的数据管理工具。Synchronoss现在可以在其基于云的消息传递产品中嵌入分析，以便向其服务提供商客户提供有关其服务如何使用的见解，以及检测异常和预测故障。"内森说："当你有了管理事物的工具时，其他的事情就自己解决了。"。科学怪人当Hadoop在2011年首次亮相时，它被广泛誉为普罗米修斯，它将为大众带来大数据之火。Hadoop源于搜索引擎技术，几乎可以容纳任何类型的信息。基于现成的硬件和集群架构，它承诺降低90%的成本和几乎无限的可扩展性。最棒的是，它是免费的。大概是这样。组织可以将所有类型的数据移动到Hadoop存储中，然后找出有趣的方法来组合它们。pentahocorp.的首席技术官创造了"数据湖"这个词来描述这种由新信息技术经济学促成的、结构松散的信息大杂烩。在硅谷，Hadoop引发了创业和风险投资活动的狂热，最终导致英特尔公司（Intel Corp.）2014年对Cloudera Inc.进行了7.4亿美元的大规模投资。但在实地，早期的收养者有着不同的经历。"我们意识到Hadoop只是一个文件系统工具已经存在，但如果没有基本的管理层，就有一批封闭的人可以使用它。"Hadoop也被广泛误解。是的，文件系统几乎可以容纳任何类型的数据，但是没有元数据、治理和用途，它只不过是怀疑论者称之为数据沼泽的地方。有些人认为Hadoop太好了，不可能是真的，结果证明他们是对的。PlaceIQ的史蒂夫·米尔顿（摄影：PlaceIQ）新的大数据工具需要改变视角，因为数据不再是可预测的。"PlaceIQ公司的联合创始人兼首席技术官史蒂夫·米尔顿（Steve Milton）说："在过去的关系时代，你会创建一个星型模式，并在25年内写出大量的报告，现在已经不是这样了。事情总是在变化。"PlaceIQ每秒处理500000次移动设备交互，并为希望了解位置与客户行为之间关系的商家、广告商和品牌提供用户每天最多60亿次的活动信息。它是开放源代码大数据技术的早期采用者，有着伤痕并证明了这一点。米尔顿说："你不能假设你湖里今天的数据会和你三个月后的数据一样。"。PlaceIQ必须对价值数PB的历史数据进行平滑处理和标准化，以便进行精确的基于时间的分析。它还需要对来自现场的数据流进行一致性和质量检查。另外，"每一部手机都可能有一个窃听器，"米尔顿说将错误引入系统的各种方法是巨大的。"Cloudera和雪花计算公司（Snowflake Computing Inc.）的商业工具，加上大量的艰苦工作，帮助PlaceIQ掌握了集成问题。但这项任务从未完成。""这是一个六年的道路，"米尔顿说这就是构建数据湖的难度所在。"失望的种子许多组织在没有明确目标的情况下开始了大数据项目。Wikibon总结了导致大数据项目失败的五个最常见的原因，这是一个非常糟糕的清单：不成熟的技术、薄弱的工具集成、昂贵的基础设施、糟糕的协作以及管理层对结果的漠不关心。2014年，当大数据最后一次出现在Gartner Inc.的炒作周期中时，它正朝着"幻灭的低谷"下滑。"大数据"一词在Wikibon最近的报告中说："大数据"一词正在失去行业的青睐。"。近四年过去了，大数据为何未能在企业中发挥其潜力，这一问题仍然挥之不去。"大数据分析已经成为董事会的一个话题，尽管人们经常讨论的问题是"我们为什么不能产生预期的回报？"？"科比罗斯说。福雷斯特研究公司（Forrester research Inc.）副总裁兼研究总监吉恩·勒甘扎（Gene Leganza）说，许多早期项目的失败与其说是技术问题，不如说是对大数据应该如何使用的理解。"这并不是因为大数据没有带来成果。"大多数组织在数据管理和治理方面都不成熟。"但是，许多企业在早期项目上所做的努力可能会掩盖大数据已经在商业和我们的生活中所带来的巨大变化——许多我们甚至几乎没有意识到。以谷歌的互动导航移动应用Waze为例，据估计每月有6500万人使用。Waze不断地调查数百万台设备的位置、速度和道路