在 Microsoft Fabric 中创建、配置和使用环境
Microsoft Fabric 环境是所有硬件与软件设置的合并项。 在一个环境中,可以选择不同的 Spark 运行时、配置计算资源,以及从公共存储库或本地目录等安装库。
本教程概述了如何创建、配置和使用环境。
创建环境
可通过多个入口点来创建新环境。
标准入口点
在工作区的创建中心或“新建”部分,可以找到创建新环境(如其他 Fabric 项)的选项。
在选择期间创建
为笔记本、Spark 作业定义和工作区默认值选择环境时,可找到创建新环境的选项。
配置环境
环境中有三个主要组件,即 Spark 计算(包括 Spark 运行时)、库和资源。 发布需要 Spark 计算和库配置才能生效,而资源是可实时更改的共享存储。 有关更多详细信息,请参阅保存和发布更改部分。
配置 Spark 计算
对于环境,有各种 Spark 运行时可供选择,每个都有其自己的默认设置和预安装的包。 若要查看可用的运行时,请导航到环境的“主页”选项卡,然后选择“运行时”。 选择最适合需求的运行时。
重要
- 如果要使用现有配置或库来更新环境的运行时,则必须根据更新的运行时版本重新发布内容。
- 如果现有配置或库与最新更新的运行时版本不兼容,发布将失败。 必须移除不兼容的配置或库,然后再次发布环境。
Microsoft Fabric Spark 计算在 Spark 上运行速度极快,效率极高,还能提供针对需求定制的体验。 在环境中,可以从工作区管理员和容量管理员创建的各种池中进行选择。 可以进一步调整配置并管理 Spark 属性,以在 Spark 会话中生效。 有关详细信息,请参阅 Fabric 环境中的 Spark 计算配置设置。
管理库
除了每个 Spark 运行时提供的内置库外,Fabric 环境允许你从公共源中安装库,或是上传你或组织生成的自定义库。 成功安装这些库后,它们即可在 Spark 会话中使用。 有关详细信息,请参阅 Fabric 环境中的库管理。 还可以找到在 Microsoft Fabric 中管理库的最佳做法。在 Microsoft Fabric 中管理 Apache Spark 库
资源
环境中的“资源”部分有助于在开发阶段对小型资源进行管理。 上传到环境的文件在附加后可跨笔记本访问。 有关详细信息,请参阅在 Fabric 环境中管理资源
保存和发布更改
在环境功能区的“主文件夹”选项卡中,可以轻松找到两个名为“保存”和“发布”的按钮。 当库和 Spark 计算部分中存在未保存或未发布的挂起的更改时,将激活这些更改。
当“库”和“Spark 计算”部分中存在挂起的更改时,还将看到一个提示这两个按钮的横幅,它们的功能与功能区中的按钮相同。
- 刷新浏览器或使其保持打开状态时,未保存的更改将丢失。 选择“保存”按钮,以确保在离开之前记录更改。 保存不会应用配置,而是将其缓存在系统中。
- 选择“发布”以将更改应用到库和 Spark 计算。 在发布之前,“挂起的更改”页将显示供最终审查。 接下来,选择“发布所有”,以在 Fabric 环境中启动配置。 此过程可能需要一些时间,尤其是在涉及库的更改时。
- 若要取消发布过程,请选择横幅中的“查看进度”和“取消”操作。
- 发布完成后会出现一条通知。 如果在过程中出现任何问题,将出现错误通知。
注意
环境一次只接受一个发布。 在持续发布期间,无法对库或 Spark 计算部分作进一步更改。 发布不会影响在“资源”部分中添加、删除或编辑文件和文件夹。 用于管理资源的操作是实时的,而发布不会阻止资源部分中的更改。
附加环境
可以将 Microsoft Fabric 环境附加到数据工程/科学工作区或者笔记本和 Spark 作业定义。
将环境附加为工作区默认值
选择“工作区设置”->“数据工程/科学”->“Spark 设置”即可找到“环境”选项卡。
新工作区
如果使用的工作区是新工作区或者工作区中未设置过库和 Spark 设置,将显示以下 Spark 设置屏幕。
工作区管理员可以定义整个工作区的默认工作负载。 此处配置的值的有效范围是附加到“工作区设置”的笔记本和 Spark 作业定义。
“设置默认环境”开关可以增强用户体验。 默认情况下,此开关设置为“关闭”。 如果不需要默认的 Spark 属性或库作为工作区默认值,管理员可以在这种情况下定义 Spark 运行时。 但是,如果管理员想要为工作区准备默认的 Spark 计算和库,他们可以打开开关,并轻松地将环境附加为工作区默认值。 此选项会使环境中的所有配置都像工作区设置一样有效。
具有现有库或 Spark 属性的工作区
环境功能是工作区设置中数据工程/数据科学部分的重要升级。 完成本次升级后,Fabric 不再支持在工作区级别执行库管理和添加新 Spark 属性的操作。 可以将现有库和 Spark 属性迁移到环境,并将其附加为工作区默认值。 有关更多信息,请参阅将工作区库和 Spark 属性迁移到默认环境。
将环境附加到笔记本或 Spark 作业定义
“环境”菜单会同时显示在笔记本和 Spark 作业定义的“主页”选项卡中。 菜单中列出了可用环境。 如果选择了环境,Spark 计算和其中配置的库在 Spark 会话启动后生效。
注意
如果在活动会话中切换到其他环境,则新选择的环境在下一个会话之前不会生效。
共享现有环境
Microsoft Fabric 支持共享具有不同权限级别的项。
共享环境项时,收件人会自动获得读取权限。 通过此权限,收件人可以浏览环境的配置,并将其附加到笔记本或 Spark 作业。 若要顺利执行代码,请确保在共享笔记本和 Spark 作业定义时,为附加环境授予读取权限。
此外,还可以使用“共享”和“编辑”权限共享环境。 具有共享权限的用户可以继续与他人共享环境。 同时,具有编辑权限的收件人可以更新环境的内容。