【Azure 架构师学习笔记】- Azure Databricks (13) -- 搭建Medallion Architecture part 1

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
接上文 【Azure 架构师学习笔记】- Azure Databricks (12) – Medallion Architecture简介

前言

上文已经介绍了关于Medallion的知识，本文开始用ADB 来实现， 但是基于内容较多，所以分为两篇。

前面 【Azure 架构师学习笔记】- Azure Databricks (11) – UC搭建中已经创建了一个空白的ADB 并启用了UC。

从下图可以大概看出ADB 在Azure上的架构，这里有个大概了解即可：

接下来稍微介绍一下ADB 集群的一些重要选项，并创建一个集群。

• Access Mode：有下面3中模式，但是从解释可以看出只有前两种支持UC ，这里选择默认的single即可。
  
  ，
• Databricks Runtime：决定了Spark的版本，一般使用最新版即可。
• Worker Type：决定了节点所使用的VM 类型。
• Number Worker Nodes：节点随压力增减的幅度。

完成这部分配置之后，我们快速搭建一个ADLS Gen2 来作为medallion的存储。这次使用Terraform来搭建，详见【Azure 架构师学习笔记】- Terraform创建Azure 资源
为了满足medallion 架构，在ADLS 上创建3个container分别为bronze， silever和gold，另外再加一个landing，用于提高可扩展性，最终的样子为这样：

至此，我们的ADB 一共有两个ADLS，一个是用于metadata，另外一个则是上面的用于存储业务数据的。

配置UC 与外部ADLS

为了让ADB 能够访问这个新建的ADLS， 还需要把ADB 的connector授权到这个ADLS 上（外部）。同时还需要在UC中创建“External Locations”（内部）。

打通 ADB UC 与 ADLS

把前面创建的“Access Connector for Azure Databricks”授予“Storage Blob Data Contributor”到新建的ADLS 中。如果ADLS 根据业务需求限制网络访问，那么还可能需要把ADB 的private subnet和public subnet 在ADLS 中进行白名单。

配置External location

External location实际上就是databricks内部的对象在外部ADLS上的映射。

但是由于“external location”是需要一个storage credential，所以我们先点下面一个“create a credential”创建凭证：

其中Access Connetctor ID 可以从资源Access connector 处复制：

有了这个credential之后，ADB UC 就可以正式与ADLS 连接上了。

创建external location， 注意下面的格式

错误出现了，很明显要授权：

检查当前权限，确实没有：

勾选报错中提到的权限，在后续会出现很多权限不足的问题，你可以逐个添加，但是要记录下来以便后续正式环境时减少错误。

按照这个方式，把前面所有的container都建好external location：

到此， 我们的基础环境已经搭建好，接下来将开始UC 内部具体的配置。