Wikibon对我们大数据市场预测的年度更新中最值得注意的发现之一是，供应商的路线图中很少提到Hadoop。我不会说Hadoop——一个在大型硬件集群上存储数据和运行应用程序的开源软件——已经完全死了。大多数大数据分析平台和云提供商仍然支持Hadoop支柱，如YARN、Pig、Hive、HBase、ZooKeeper和Ambari。然而，这些都不能像Hadoop分布式文件系统或HDFS那样真正代表这个开源平台的核心。而HDFS在大数据分析供应商的核心平台战略中越来越少。HDFS在供应商的大数据路线图中逐渐退步的核心原因是，他们的客户已经远远超出了它所预设的静态数据架构。静态数据架构（如基于HDFS的数据湖）在企业数据策略中正变得越来越不重要。当你现在听到"数据湖"的时候，它更可能是指一些企业在S3中的数据存储，微软Azure数据湖存储，谷歌云存储等等。即使是像hortonworksinc.这样的Hadoop的忠实拥护者也看到了这一点，这就是为什么在最近的3.0版本中，Hadoop强调异构对象存储。新的Hortonworks数据平台3.0支持所有主要的公共云对象存储，包括Amazon S3、Azure storage Blob、Azure Data Lake、Google云存储和AWS Elastic MapReduce文件系统。HDP最新的存储增强功能包括一致性层、NameNode增强功能以较低的存储开销支持数十亿文件的横向扩展持久性，以及存储效率增强，如支持跨异构卷的擦除编码。HDP工作负载通过与Hadoop兼容的文件系统API访问非HDFS云存储环境。因此，当MapR最近发布其6.1数据平台更新（仍处于beta版本）时，并不奇怪，除了hive2.3之外，几乎没有提到HDFS或Hadoop生态系统的任何其他核心组件。尽管MapR一直与Hadoop供应商保持一定的距离，但在其最新版本中，MapR已经走得更远了。它现在提供了一个基于以下支柱技术的强大的下一代云数据平台：对象存储：在异构多云中持久化异构数据对象是一种新的静态数据结构。这说明MapR现在将s3api定位为其dataatrest结构的核心，尽管它还支持使用HDFS、NFS、POSIX、SMB和rest接口的数据读写。MapR的新对象数据服务使数据管理员能够灵活地与公开s3api的公共或私有云集成（包括但不限于amazonwebservice的s3public云服务）。MapR公开了一个全局命名空间，并在分布式对象存储环境中强制实施一组通用的规则和策略，如访问控制、自动数据放置、卷加密和擦除编码，而不考虑公共、私有或混合云层或数据持久化的格式。此外，它还添加了基于策略的分层，以在内部和云中跨性能、容量和归档存储自动移动数据。流计算：连续处理不同的数据对象是新的动态数据结构。继对象存储之后，流计算是MapR最新平台更新中最重要的消息。尤其是卡夫卡，现在是it和大多数其他大数据分析公司的重点。最新的MapR版本支持使用Kafka 1.1和KStreams api简化流分析和更改数据捕获应用程序的开发，以及通过Kafka的KSQL语言对流数据进行更友好的查询。同时，MapR现在支持Spark Structured Streaming 2.3，实现流内机器学习的高性能连续处理。对象存储是目前大数据的核心平台，但在未来十年里，它的重要性很可能会被流计算所取代。正如我在最近的这篇SiliconANGLE文章中所指出的，流式处理对于当今的"永远在线"经济体来说，就像关系数据体系结构对于企业计算的前一个时代一样重要。在Wikibon的大数据市场更新中，我们发现了一些商业技术趋势，指向了一个新的时代，其中流计算是大多数数据体系结构的基础：数据源正在整合更多来自"物联网"端点的本地获取的传感器机器数据。采用无服务器计算正在将工作负载转移到始终在线结构上的事件驱动请求-响应流。面向边缘的应用架构需要在移动、嵌入式和物联网设备上进行流内分析处理、推断和培训。向实时、实时和交互式在线会话转变需要支持低延迟、连续数据处理的端到端环境。将事务性工作负载转移到流计算中正在为这些环境带来有状态和协调的语义。始终在线环境中的决策支持需要流式平台中持久的真实来源。Kafka、Flink和Spark结构化流媒体等开源流媒体环境的成熟，使这项技术进入了企业信息技术专业人士的舒适地带。企业正在扩大在内存、连续计算、更改数据捕获和其他低延迟解决方案方面的投资，同时将这些投资与他们的大数据静态环境（包括Hadoop、NoSQL和rdbms）融合在一起。在未来十年内，我们曾经知道的数据库将成为一个古老的历史，从架构的角度来看，在一个流媒体、内存、边缘和无服务器的基础设施占据主导地位的世界里。Hadoop城堡的最后一面墙是建立在静态体系结构上的，以支持有状态和事务性应用程序，但看起来像Kafka这样的流式环境将有力地满足更多的这些需求，也许与区块链一起作为持久的元数据日志。事实上，随着流、对象存储、区块链和物联网在所有应用程序中的普及，未来几十年可能会有一个无数据库的世界等待着我们。请阅读这篇发人深省的文章，讨论如何实现这一点，以及本文讨论不同的流类型如何支持事务性数据应用程序。Hadoop可能还有很多有用的生命。数据库可以作为许多应用程序体系结构的支柱而存在。但我们已经进入了一个新时代，这些熟悉的地标正在消失。在这个时代，流计算在每个应用程序环境中都开辟了新的通道，而海量的对象存储则将一切都锚定了。图片：kalhh/Pixabay既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。