apachespark在八年前发明并在过去的几年里得到了广泛的商业化，它已经成为数据科学家和其他开发人员在机器学习、连续流计算和图形分析方面进行复杂项目的核心动力工具。开源代码库的全球客户群现在包括超过22.5万个用户，并且正在迅速扩展。然而，尽管Spark成功地获得了主流用户的认可，但它已经开始在数据科学界和大数据分析领域失去它的"下一件大事"。在过去的一年里，这一地位已经转变为一种存在了很长时间的东西：人工智能。更具体地说，下一件大事，从它对大众想象力的渗透程度来看，是机器学习的老手，被称为深度学习。就像Spark已经取代Hadoop成为数据科学家和大数据分析专业人士的热门话题一样，Spark本身似乎正面临着在这个反复出现、卷曲和其他多层神经网络的新时代被黯然失色的危险，这些神经网络高举深度学习的旗帜。但本周的声明显示，在人工智能和深度学习的时代，Spark远非无关紧要。2017年Spark峰会周二在旧金山举行，Databricks发布了几项重要声明，这些声明指出了社区向新兴人工智能/深度学习生态系统的一个组成部分进化的道路。除此之外，Databricks的声明显示，it是Spark领域的主要开发人员、提交者和有远见的供应商，正在积极致力于提高核心代码库的功能、性能、可伸缩性、可管理性以及易用性和开发性。以下是Databricks的主要声明，以及他们如何推动Spark在需要的地方保持相关性并在开放分析生态系统中提供更深层的价值：将Spark推向更深入的深度学习：Spark在深度学习革命中扮演着重要的、不断增长的角色，有时甚至是无名氏的角色。正如我在本文中讨论的环境中所使用的那样，深度学习开发人员使用已经在他们的处置。在Spark Summit 2017上，Databricks宣布了Deep Learning Pipeline，它提供了一个应用程序编程接口，可以从Spark的MLlib管道中简化对TensorFlow和Keras库的编程访问。一个关键的创新是深度学习管道通过SQL公开函数的能力，从而使它们能够被更广泛的分析开发人员社区使用。Wikibon希望Databricks能够迅速跟进，为其他领先的开源深度学习工具（尤其是Caffe2、Theano和MXNet）添加API访问。我们敦促Databricks，作为Spark的主要提交者之一，迅速将这个深度学习集成代码库贡献给apachespark社区。推动火花更彻底地进入DeVOP:火花是许多创新应用开发的基础，包括机器学习、连续计算和图形分析。更多的Spark应用程序正在为关键企业应用程序开发，这要求数据科学家结合DevOps实践来不断构建、测试和部署他们的应用程序。对于这些开发人员（他们中的许多人都处于缺乏深层信息技术资源的初创企业）来说，拥有一个完全管理的基于云的开发环境是绝对必要的，在这种环境中，服务提供商可以自动处理集群配置、优化、安全和工作负载管理。在这方面，WikBion称赞了Debug数据库作为企业开发者的DeVoP基金会。然而，目前还不清楚新产品在微软公司、IBM公司和其他公司已经提供了强大的基于云的Spark DevOps环境的市场中的表现。将Spark推向真正的流媒体领域：Spark不是流分析的唯一开源环境。Spark的结构化流媒体自去年v2.0开始上市以来，在流媒体领域面临着来自Flink和Beam等老牌产品的更激烈竞争。迄今为止，结构化流媒体在竞争中的一个主要劣势是其微补丁体系结构，这限制了它在连续计算和低延迟分析方面提高性能的能力。为了在竞争中保持结构化流媒体的竞争力，Databricks不得不继续提高其性能，例如通过最新发布的一个高级API，它声称显著提高了Spark在其云平台上的结构化流吞吐量。此外，它还为apachespark贡献了新代码，它声称可以将服务的端到端延迟降低到亚毫秒范围。Databricks在降低Spark流延迟方面的投资是在这个竞争激烈的市场中竞争的赌注。照片：罗伯特·霍夫既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。