O que é DBFS?
O termo DBFS é usado para descrever duas partes da plataforma:
- Raiz do DBFS
- Montagens DBFS
O armazenamento e acesso de dados usando montagens DBFS raiz ou DBFS é um padrão preterido e não recomendado pelo Databricks. Para obter recomendações sobre como trabalhar com arquivos, consulte Trabalhar com arquivos no Azure Databricks.
O que é Sistema de Arquivos do Databricks?
O termo DBFS significa Sistema de Arquivos do Databricks, que descreve o sistema de arquivos distribuído usado pelo Azure Databricks para interagir com o armazenamento baseado em nuvem.
A tecnologia subjacente associada ao DBFS ainda faz parte da plataforma do Azure Databricks. Por exemplo, dbfs:/ é um esquema opcional ao interagir com volumes do Catálogo do Unity.
Avisos e advertências passados e atuais sobre DBFS se aplicam apenas à raiz DBFS ou às montagens DBFS.
Como o DBFS funciona com o Catálogo do Unity?
O Databricks recomenda o uso do Catálogo do Unity para gerenciar o acesso a todos os dados.
O Catálogo do Unity adiciona os conceitos de locais externos, credenciais de armazenamento e volumes para ajudar as organizações a fornecer o acesso menos privilegiado aos dados no armazenamento de objetos na nuvem.
Algumas configurações de segurança fornecem acesso direto aos recursos gerenciados pelo Catálogo do Unity e ao DBFS, principalmente para organizações que concluíram migrações ou migraram parcialmente para o Catálogo do Unity. Consulte Melhores práticas para o DBFS e o Catálogo do Unity.
O que é a raiz DBFS?
A raiz do DBFS é um local de armazenamento provisionado durante a criação do espaço de trabalho na conta de nuvem que contém o Workspace do Azure Databricks. Para obter detalhes sobre a configuração raiz e a implantação do DBFS, consulte o início rápido do Azure Databricks.
O Databricks não recomenda o armazenamento de dados de produção, bibliotecas ou scripts na raiz do DBFS. Confira Recomendações para trabalhar com a raiz do DBFS.
Para configurar chaves gerenciadas pelo cliente para a conta de armazenamento que inclui a raiz do DBFS, consulte as Chaves gerenciadas pelo cliente para a raiz do DBFS.
Para limitar o acesso à rede à conta de armazenamento que inclui a raiz do DBFS, consulte Habilitar o suporte de firewall para sua conta de armazenamento do workspace.
Montar o armazenamento de objeto
Observação
As montagens DBFS foram preteridas. O Databricks recomenda o uso de volumes do Catálogo do Unity. Confira O que são os volumes do Catálogo do Unity?.
A montagem do armazenamento de objetos no DBFS permite que você acesse objetos no armazenamento de objetos como se estivessem no sistema de arquivos local. As montagens armazenam as configurações do Hadoop necessárias para acessar o armazenamento. Para obter mais informações, confira Montagem do armazenamento de objetos de nuvem no Azure Databricks.