Поделиться через

Использование URI Azure Data Lake Storage

  • Статья

Драйвер файловой системы Hadoop, совместимый с Azure Data Lake Storage, известен своим идентификатором abfs схемы (файловая система BLOB-объектов Azure). В соответствии с другими драйверами файловой системы Hadoop драйвер ABFS использует формат URI для обращения к файлам и каталогам в учетной записи с поддержкой Data Lake Storage.

Синтаксис URI

Драйвер файловой системы BLOB-объектов Azure можно использовать с конечной точкой Data Lake Storage учетной записи, даже если у этой учетной записи нет иерархического пространства имен. Если у учетной записи хранения нет иерархического пространства имен, то синтаксис URI сокращенного уровня:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Scheme identifier (Идентификатор схемы) — указывает протокол abfs. Если добавить s в конце (abfs s), драйвер клиента ABFS Hadoop всегда будет использовать протокол TLS независимо от выбранного метода проверки подлинности. Если вы выбрали OAuth в качестве проверки подлинности, драйвер клиента всегда будет использовать TLS, даже если вы указываете abfs вместо abfss того, что OAuth используется исключительно на уровне TLS. Наконец, если вы решили использовать старый метод ключа учетной записи хранения, драйвер клиента интерпретирует, чтобы означать abfs , что вы не хотите использовать TLS.

  2. File system (Файловая система) — указывает на родительское расположение, в котором хранятся все файлы и папки. Это то же самое, что контейнеры в службе служба хранилища Azure BLOB-объектов.

  3. Account name (Имя учетной записи) — содержит имя, которое вы присвоили учетной записи хранения при ее создании.

  4. Paths (Пути) — содержит представление структуры каталогов, в котором сегменты разделяются косыми чертами (/).

  5. File Name (Имя файла) — содержит имя конкретного файла. Этот параметр необязателен, если вы обращаетесь к каталогу.

Однако если у учетной записи, которую требуется адресировать, есть иерархическое пространство имен, то синтаксис URI сокращенного кода ресурса (URI):

/<path>1/<file_name>2

  1. Path (Путь) — содержит представление структуры каталогов, в котором сегменты разделяются косыми чертами (/).

  2. File Name (Имя файла) — содержит имя конкретного файла.

Следующие шаги