日立公司的子公司日立万达在其Pentaho数据集成和分析软件版本8中增加了对ApacheKafka流数据的支持。10月26日宣布的这一举措，扩大了公司对围绕apachespark的开源生态系统构建的支持，以及与Kafka一起常用的Spark流媒体扩展。Pentaho8.0完全支持使用其本机流引擎或Kafka进行流数据接收和处理。流处理能力建立在现有的pentahospark与SQL、MLlib和供应商在春季引入的"自适应执行层"的集成之上。apachekafka是一个轻量级、快速和高度可伸缩的消息代理，它在应用程序之间传递数据，通常用于Hadoop大数据环境。最近的一个增强功能增加了"仅一次"的交付功能。Hitachi Vantara Pentaho产品营销部高级总监Arik Pelkey说，国际数据公司估计，到2025年，组织生产的数据量将增长10倍，其中四分之一的数据将是实时的，"物联网"将占到流数据量的95%。他说，该公司已经修改了其平台的架构，以适应其他流媒体引擎，并计划在不久的将来将apacheflink包括进来。自适应执行层自动将数据集成逻辑映射到执行环境，从而减少或消除对Spark编程的需要。用户可以将工作负载与最合适的处理引擎匹配，而无需重写数据集成逻辑。在新版本中，自适应执行变得更易于设置、使用和安全。因此，佩尔基说，"你不必再成为一名开发人员来处理Spark流数据。"为了更好地解决容器日益普及的问题，Hitachi Vantara还增加了对"worker nodes"的支持，它是针对速度和便携性而优化的精简版软件例如，您可以在云端或容器内使用worker节点来处理数据转换或报告等多个小任务这些虚拟节点构成群集的一部分，因此您不需要多次复制元数据存储库。"Worker节点支持内嵌可视化特性，该公司今年春天也引入了这些特性，以简化数据集成。该功能允许用户在集成过程中可视化数据，以便更容易地发现异常值。新版本还增加了对apacheknox网关的支持，以支持Cloudera公司和Hortonworks公司的安全协议。Knox网关用于验证用户对Hadoop服务的支持。另外一个新特性是对apacheavro数据序列化系统和apacheparquet列式存储格式的本地支持。本机支持使用户能够更轻松地读写这些大数据文件格式，并使用Pentaho的可视化编辑工具处理Spark。计划下个月提供。图片：Flickr CC既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。