尽管大数据给企业带来了诸多好处，但最大的问题是，主流企业不得不自己组装许多软件和服务，导致许多企业因复杂性而窒息。这就是Databricks公司在10月25日宣布的新的Delta数据仓库所要解决的问题。德尔塔强调大数据行业正在转向提供一套新的解决方案，这些解决方案集成并简化了过去需要混合装配的解决方案。Databricks最初将Delta定位为基于Spark的在线服务的新数据仓库，而不是Snowflake的在线数据仓库。但这种定位仅仅是为了提供Delta功能适合的粗略近似值。更大的问题是Databricks和其他公司正越来越多地为大数据和机器学习提供一个端到端的集成平台，试图降低从开源社区内部管理大数据基础设施的复杂性。图1：通常在集成的简单性和复杂但更复杂的同类最佳功能之间存在权衡。自从大数据软件出现以来，供应商和客户都在享用快速发展的开源混合匹配工具。这种方法对复杂的、以技术为中心的企业非常有效。Mix-and-match通常提供同类最佳的功能或其他地方没有的高度专业化的功能（上图1）。Hadoop供应商在其发行版中各自策划的数十个Apache项目就是这种方法的典型代表。但"自己动手"的方法是有权衡的。首先，让客户将这些组件组装在一起会给开发人员和管理员带来更大的负担。高度成熟的客户，如大型消费互联网公司、电信公司和银行，都具备使用这些工具的技能。但其他人却在苦苦挣扎。图2：现代操作分析应用程序的统一平台消除了开发人员和管理员的混搭负担。具有端到端集成的应用程序或平台通常会吸引那些没有技能或风险偏好来承担DIY项目的主流客户。随着Delta作为Databricks平台的一部分，客户继续拥有Spark for one统一分析引擎，该引擎具有流式分析、SQL访问、机器学习和图形查询（上图2）。但Delta提供的是一个与统一分析引擎相匹配的单一分析数据库。至关重要的是，通过集成引擎，不同的分析计算可以在单个数据集上协同工作，而不必在提取/转换/加载数据转换、流式分析、SQL查询和机器学习处方之间移动。类似地，使用集成的分析数据库，相同的数据集将保留在一个数据库中，而不是从一个数据湖移动到一个数据仓库再到另一个数据库，以通知需要以低延迟发生的决策。在统一的分析引擎和数据库中的这种集成级别对多个不同的客户群体有着引人注目的好处：客户角色端到端分析平台集成的好处业务线所有者业务线所有者可以获得更准确的决策，以通知业务事务或影响最终用户交互。开发商更准确的处方来自于具有较低延迟的分析，可以在固定时间内将更多上下文信息输入机器学习模型。集成分析可以在一个地方执行所有计算和存储功能，从而降低延迟。不需要在不同的分析过程或存储引擎之间移动数据。管理员端到端集成大大简化了与具有许多活动部件的平台相关的管理。将该集成平台作为SaaS服务提供，进一步简化了管理要求。为了理解集成方法和最佳方法之间的权衡，让我们来看看最佳组件是如何组合在一起的（下面的图3）。支持流式接收的产品（如Kinesis或Kafka）会将索赔数据传输到两个分析管道中，以检查是否存在欺诈，一个用于速度，另一个用于更高的准确性。开发人员可以选择Flink来提高速度，选择S3来获得支持更高精度的更高信息量。开发人员可以使用Hive或Presto在批处理模式下用历史和其他上下文信息丰富amazons3数据。得到的精确数据可以传输到数据仓库或其他高度精确的数据库管理系统中，以获得分析性能。同时，Flink可能会查找一些参考数据，并预测某项数据是否属于欺诈性索赔。弗林克的预测可能可信度较低，因为它基于较少的数据，因此可以近乎实时地返回答案。另一个机器学习模型将定期检查数据仓库中的所有声明。基于数据仓库中的声明的预测将具有更高的置信水平，因为它们可以在额外的时间内考虑更多的因素。通过这种方法，开发人员可以针对他们需要的功能和结果优化每个管道。然而，管道将有多个编程和管理模型。数据还必须在分析的不同阶段之间以及数据存储之间移动，这通常会增加延迟。记住Hadoop和bigdata2.0方法不一定能解决集成问题。我在前一篇文章中描述了其中的一些挑战。图3：构建现代操作分析应用程序的最佳方法需要集成mix-and-match组件。这种方法还可以更容易地选择与项目需求密切匹配的专用功能。但是，很少有厂商破解了在进入市场的业务中获得可持续规模的代码。基于混合开源或在线服务的免费增值服务使开发人员能够通过自助服务渠道发现和尝试新产品。开发人员通常还会在第一个项目中提供最初的设计胜利。供应商的内部销售团队是一个理想的低成本渠道，将最初的设计成果扩展到新的项目中。但要在企业范围内采用，需要与高级IT或业务线决策者进行接触。传统上，这种类型的业务需要一支由成熟的增值分销商和系统集成商组成的企业销售队伍。而企业销售人员是世界上最昂贵的流动劳动力。即使是拥有10亿美元收入的供应商，也发现要实现全面的全球客户覆盖也是一项挑战。为了解决这一覆盖率问题，该行业仍需创新上市模式。wikibonresearch即将发布的一份报告将比较特定于供应商的方法在简单性和复杂性之间的权衡以及他们的客户应用程序的最佳点。图片：Mediamodifier/Pixabay既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。