这是关于Databricks安全的一系列博客文章中的第3篇。我的同事David Cook（我们的CISO）和David Meyer（SVP产品）在blog#1和blog#2中阐述了Databricks的安全方法。在这个博客中，我将讨论如何在尽可能减少人为错误的同时，大规模地部署和操作数据块。数据民主化！安全呢？随着企业努力利用其数据做出更明智的决策，一个核心要求是"数据民主化"。换言之，向组织的更广泛部门开放对以前孤立和受限数据的访问。这通常能提供一套新的见解，以释放额外的收入来源，并能改变企业。然而，这种扩展访问的新模型在组织中引起了相当大的恐慌，尤其是在C套件中。当他们听到来自不同领域的企业的数据泄露报告时，他们会寻找平衡安全性和治理与访问的方法。尤其是，通过越来越复杂的策略和配置来控制对来自无数服务和用户的数据的访问。复杂性增加了人为错误的可能性和攻击的表面积，如果做得不正确。今年早些时候，IBM发布了一份研究报告，报告显示，由于云服务配置错误，数据泄露事件急剧增加，这在很大程度上是由于人为错误的作用。Databricks产品的设计目标是实现这种平衡：最大限度地提高最终用户的生产效率和访问能力，而不牺牲（在许多情况下加强）安全性和治理遵从性。作为其中的一部分，我们将重点放在尽可能多的操作自动化上。此外，我们还建立了"关注点分离"原则，以尽量减少人为错误的机会和任何此类错误配置的影响。为了提供更多细节，下面是我们与客户讨论的一些注意事项安全部署第一步是确保在初始部署期间不会引入不必要的安全漏洞：将您的基础设施保留在您的帐户中–尽管Databricks提供了完全管理的SaaS服务的好处，但所有群集都是在客户的Azure/AWS帐户中创建和删除的，数据保持在原来的位置。所有现有的安全配置和监视工具都可以继续利用，而不是在不同的环境中创建一组全新的配置（这会增加发生危险错误的风险）。隔离网络以减少爆炸半径–Databricks在客户帐户中创建一个专用的VPC/VNET，只包含Databricks基础设施。这确保了所有Databricks策略和控件都不能访问客户帐户中的其他生产基础设施。此外，与Databricks控制基础设施的所有通信都通过直接链接（同时还消除了任何公共ip）。这可以防止任何流量通过公共互联网，并且还使用mutual TLS v1.2进行加密。最后，使用了多个安全组，因此，如果Databricks服务需要连接到其他客户VPC/VNETs（例如，包含另一个生产数据源），就不会有向外部世界暴露对这些服务的访问的风险。独立的网络和安全组利用限定范围的权限–为了管理客户基础设施，Databricks只使用令牌和角色（而不是密钥）来消除泄漏风险。此外，这些角色拥有极其有限的权限（例如，明确排除对任何客户数据的访问），仅允许他们设置Databricks基础设施。在扩展用户时安全操作与初始部署同样重要的是正在进行的操作和维护：自动化并最小化人为干预—Databricks自动化了一般SaaS监控和更新，以消除人为干预。在极少数需要人工访问的情况下，它只通过基于时间限制的令牌模型提供。访问权限只对一小部分核心Databricks操作员可用，所有活动都会被记录下来。只读审核和访问日志直接提供给客户，在那里可以将它们输入到现有的安全监视基础结构中。与流行的安全工具集成–与SSO标识提供程序（如Azure Active Directory、Okta、Onelogin等）的集成以及对SCIM的支持，使您能够轻松地管理和保护用户。在员工可能离开公司的敏感时期，新用户的设置和访问权限的删除是自动进行的。SCIM与SSO标识提供程序集成严格的访问控制和基于网络的隔离-部署后，对Databricks web应用程序和身份角色的访问权限可以进一步限制到稳态操作所需的最低限度，从而消除了部署所需的任何更广泛的权限。任何例外情况都是完全可审计的，并须经客户正式批准。有信心地管理数据最后，确保数据始终受到保护至关重要物理和逻辑数据访问控制：Databricks提供了利用acl来限制哪些用户可以物理地访问底层数据文件的能力，同时还为已创建的逻辑表提供细粒度的访问控制（例如，基于行和列的访问控制）。例如，可以隐藏一个社会保险号码列，同时允许访问表的其余部分。毫不费力地保护端到端数据和工作流程—Databricks丰富的生态系统支持与流行的企业大数据技术（如data Lakes、data Warehouses、JDBC/ODBC和BI工具）进行无缝集成和安全、加密、认证的通信。审计日志——Databricks提供全面的端到端审计日志，记录用户在平台上所做的活动，允许企业根据业务需要监控数据块的详细使用模式。结论在Databricks，我们知道在最小化人为错误和管理风险的同时扩展数据系统和访问是多么复杂和耗时。这就是为什么我们努力使部署和管理我们的平台变得几乎不费吹灰之力，同时保持大规模的数据治理和访问。试试看！请致电我们，了解数据块如何改善您的安全状况。通过在apachespark上下载我们的保护企业数据的安全电子书来了解更多信息。 免费试用Databricks。今天就开始吧