德雷米奥公司（Dremio Corp.）在隐身两年后，如今凭借一个基于apachearrow分布式查询引擎的开源平台，正进入炙手可热的自助数据分析市场。Dremio说，它消除了对诸如提取/转换/加载过程、数据仓库、多维数据集和聚合表等繁琐任务和技术的需要，在不牺牲安全性和适当的数据管理的前提下提供了易用性。这家总部位于加州山景城的公司是由一群大数据老手创立的，其中包括Arrow的联合开发者雅克•纳多（Jacques Nadeau），该公司已经筹集了超过1500万美元的资金，用于一项技术，声称可以与任何商业智能前端或数据科学工具配合使用，同时消除数据移动的需要，这是一个耗时的过程，它挫败了许多大数据计划。"我观察到的一件事是，当我们出售Hadoop公司时，我们也不得不向他们出售专业服务，"曾在MapR Technologies Inc.工作的首席执行官托默·希兰（Tomer Shiran）说，"花了几个月才获得商业价值。"硬件效率apachearrow的设计目的是通过最大程度地在内存中工作来实现高水平的硬件效率，同时还将Dremio和客户机技术（如Python、R和Spark）之间的数据缓冲区的序列化和反序列化降到最低。可以将数据转换为可被缓冲或存储的数据的序列化或结构。Arrow也被设计用于图形处理单元和现场可编程门阵列硬件加速器，它与Python集成的"开销几乎为零"，Shiran说。"像Tableau Software Inc.的Tableau这样的数据分析和可视化平台在实现最终用户报告方面做得很好，但它们并不涉及底层的数据准备过程，"Shiran说数据管理的方式30年来没有根本改变。"。Dremio正在与微软公司、Tableau和Qlik Inc.等几家BI公司合作，将他们的前端工具与Dremio的数据管理引擎集成。Dremio没有对所有查询执行全表扫描，而是通过用每个数据源的本机查询语言（如Elasticsearch、MongoDB和HBase）重写SQL查询来优化对底层数据源的处理。Shiran说，该公司已经编写了与流行的关系数据库管理引擎以及多个非关系源的连接器，这样"公司中的所有数据，无论它在哪里，看起来都像是在一个关系数据库中，而且是一个非常快的关系数据库。"。Dremio可以跨多个数据源执行连接，并且还针对文件系统进行了优化，比如amazonwebservicesinc.的S3和Hadoop文件系统。单一数据视图机器学习应用于帮助用户随着时间的推移编写更好的查询。类似Excel的用户界面允许用户跨多个后端源联接表，包括同时包含关系源和非关系源的表。机器学习帮助系统观察用户创建的查询并推荐有用的连接。Shiran说，这种方法类似于谷歌通过组织针对特定查询优化的数据基础设施来提供快速响应的方法。"用户正在玩一个全球数据目录，而在幕后，系统正在优化他们的查询。"。Dremio的query planner会自动选择在运行时处理查询的最佳方式，并针对特定的查询模式进行优化，如列式、压缩式、聚合式、排序式、分区式和共置式。该软件还以用户可读的格式维护数据集的多个反射，用户可以完全了解数据的访问、转换、连接和共享，这一功能有助于数据管理和安全。Dremio的开源版是作为可免费下载的社区版发行的。一个单独的企业版将被授权作为一个年度订阅，支持，商业许可证和尚未指定的企业功能。企业版的定价尚未确定，但将基于支持的计算节点数。图片：德雷米奥既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。