今天开始的是来自Spark Summit East的直播，这是一个致力于开放源代码社区的活动，ApacheSpark解决了企业信息技术中最大的数据争拗挑战。随着智能自动化和代码整合的不断增强，Spark有望在企业环境中扩大其影响力，继续缩小Hadoop开源生态系统中的复杂性差距。在会议之前，我们听取了Wikibon（与SiliconANGLE属于同一家公司）的分析师georgegilbert就Spark的市场机遇和仍然存在的障碍发表了看法。下面是吉尔伯特评论的摘要，以及观看我们的直播和一些业内领先专家的存档采访的资源随着雅虎、eBay和Netflix等互联网巨头大规模部署Spark，Spark已经被各个行业的企业迅速采用。它还声称是大数据领域最大的开源社区，有来自250多个组织的1000多名贡献者，这是英特尔最近的贡献。这家芯片制造商通过开源BigDL来增强Spark的深度学习能力，BigDL是一个分布式库，利用现有的Spark集群运行深度学习计算，同时简化Hadoop中存储的大型数据集的数据加载。Gilbert认为，这种对简化过程的专注，包括ApacheSoftwareFoundation的最新顶级产品ApacheBeam和ApacheEagle对速度和安全的高级支持，正是Spark如此吸引人的原因。他解释说，Spark在代码库中的深度集成意味着它可以"最小化开发机器学习管道所需的构建块数量，否则这些管道必须来自多个供应商。"。他补充说，对使用批处理或SQL库流式处理转换数据的双重支持，使Spark在为机器学习程序准备数据方面取得了进展。因此，即使Hadoop的复杂性继续使其生态系统支离破碎，Spark统一过程的能力使其成为大规模工程的选择。呼叫所有第三方尽管如此，Spark的快速发展面临着自身的一系列挑战，以避免与Hadoop相同的缺陷，Hadoop的发展速度如此之快，以至于缺乏很多自上而下的指导架构，从而导致生态系统出现裂缝。尽管致力于加快和支持机器学习方法的新努力，SARK还没有足够快的速度进行超规模的预测，吉尔伯特留下了"开发者将Skac的机器学习模型转换成更快的语言，如C++或java"。由于没有本机数据库，Spark也会在其生态系统中留下缺口，需要与第三方服务进行持续集成。吉尔伯特指出了Spark需要第三方帮助的另外两个领域。一是摄取数据的过程。他说，由于大多数使用场景默认为开源流处理平台apachekafka，"Spark仍然需要大量的工作来处理这一步。"另一个挑战是物联网时代的实时数据分析，在这种情况下，边缘设备可能需要对单个事件进行分析并立即采取行动。"由于Spark的流处理不能一次分析一个事件，Spark可能会使边缘支持物联网工作负载变得困难，"Gilbert解释道。Apache Spark将如何面对这些挑战？SiliconANGLE将在Spark Summit East获得独家新闻，在流动新闻台theCUBE进行现场直播。在活动期间，cube的主持人Dave Vellante和George Gilbert将与业界专家讨论Apache Spark的未来、如何在各种应用程序中使用Spark堆栈、大规模部署Spark的最佳实践以及来自解决大数据问题的领先组织的用例。CUBE客人包括：英特尔大数据副总裁马自亚Mike Gualtieri，Forrester Research首席大数据分析师艾尔弗雷德·埃萨，麦格劳希尔教育公司分析和研发副总裁惠普个人系统专家John Landry还有更多在哪里观看在2017年东方星火峰会期间，在SiliconANGLE电视上观看CUBE直播。另外，在活动期间，一定要通过Twitter与cube主机Dave Vellante（@dvellante）和georgegilbert（@ggilbert41）联系。观看直播从2月8日至9日，在2017年东方星火峰会期间观看实时视频流，加入CUBE直播。或观看以下直播：撰稿人：谢丽尔·奈特（*披露：CUBE是会议的媒体合作伙伴。无论是Databricks还是其他赞助商都无法对cube或SiliconANGLE上的内容进行编辑控制。）既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。