云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

网站服务器_windows云服务器_价格

小七 141 0

Pivotal Hadoop集成了完整的ApacheSpark堆栈

这篇文章是由我们在Pivotal的朋友客座撰写的,描述了他们为什么对在世界级Pivotal HD大数据分析平台套件上交付ApacheSpark感到兴奋。今天,我们很高兴地宣布在Pivotal HD上立即提供完整的ApacheSpark堆栈。我们对Spark作为Hadoop更传统的处理引擎以及充满活力的生态系统的迅速采用印象深刻,并为关键客户能够在Pivotal HD Hadoop上运行Apache Spark而激动不已。同样重要的是我们如何做到这一点:Pivotal HD将成为Databricks即将推出的认证计划的一部分,这意味着我们承诺提供与Apache Spark的兼容性,并支持Spark应用程序不断增长的生态系统。PivotalHD和Spark与多供应商拼凑的异构解决方案不同,Pivotal集成了一整套技术,允许企业创建业务数据湖。Pivotal HD 2.0.1包含一个与ApacheHadoop 2.x兼容的Hadoop发行版、HAWQ中市场领先的Hadoop查询引擎SQL,以及GemfireXD,用于内存数据服务和超低延迟事务处理功能。这些平台共同扩展了Pivotal在Hadoop生态系统和更成熟的数据仓库市场的差异,满足了从批处理到超低延迟的全系列分析需求。借助Spark,Pivotal旨在通过利用Spark的尖端功能并将其与Pivotal的其他世界级平台集成,进一步扩大这种差异。关于Spark的好处已经写了很多,但真正吸引我们的是以下特点:速度:Spark使用其内存优化的体系结构,可以以比Hadoop MapReduce快100倍的速度就地处理HDFS数据统一性:开箱即用的Spark提供了广泛的功能,包括流数据支持、机器学习和图形计算,当与PivotalHD结合时,这些功能将为客户提供完整的端到端体验易用性:Spark使开发人员能够在整个工作流中使用Java、Scala或Python;此外,它还公开了80多个高级操作符,使得它的代码比类似的MapReduce作业少2-5倍尽管传统的Hadoop处理组件(如MapReduce、Pig和Hive)仍将是PivotalHD的一部分,但我们认为许多客户将开始使用Spark而不是这些优点。关键和开源开源是Pivotal DNA的关键部分。Pivotal一直致力于开源软件,通过积极参与开源项目,如Tomcat、RabbitMQ、Redis、Hadoop、Cloud Foundry、Spring、Grails、MADlib、Chorso和Groovy—Spark也一样。Spark对我们的主要吸引力之一是不断增长的社区和生态系统。在过去的12个月中,它有近200个贡献者,是Apache和Hadoop开源生态系统中最活跃的项目之一。更令人兴奋的是建立在Spark之上的应用程序生态系统的潜力(这是我们在Pivotal非常热衷的);新的"由Spark驱动"的应用程序似乎每天都在出现。然而,我们已经看到,在开源项目中,这种潜力会随着分叉和碎片化而迅速减少。这就是为什么我们很高兴加入到Databricks中来统一社区。Pivotal的Spark发行版提供了与apachespark的完全兼容,使越来越多的"经认证的Spark"应用程序能够开箱即用地运行。考虑到为客户带来的好处,以及流程的公开透明性,这是一个简单的决定。这一努力再次证明了Pivotal致力于为客户带来价值的开源创新。关键和数据块Databricks是由开发apachespark的原始团队创建的,目前是该项目的驱动力。当Pivotal决定用PivotalHD的完整ApacheSpark堆栈来证明它的发行版,并增加我们在Spark社区的参与度时,我们想不出比Databricks更好的盟友来开始这一激动人心的旅程了。此外,我们很高兴能加入他们的努力,在不断增长的Spark生态系统中保持兼容性。我们很高兴能在Databricks博客上宣布这一消息,并期待着与我们在Databricks的朋友建立长期而深入的关系。入门在Pivotal HD 2.0.1上试用Pivotal的Spark bundle,方法是获取Pivotal的Spark tarball和快速入门说明。Pivotal HD 2.0.1版本可在此处下载。我们很乐意听到您的意见,并欢迎有机会与您进行对话。请随时给我们写信spark@gopivotal.com如果您有任何问题,或者我们可以为您的预期用例提供任何帮助。此外,请确保您在即将到来的Spark峰会上访问我们的展位,以了解更多关于使用Pivotal HD的信息–现在使用Spark!免费试用Databricks。今天就开始吧