Erstellen eines Importauftrags aus Blob Storage in ein Dateisystem

Azure Managed Lustre ist in Azure Blob Storage integriert, um den Import von Daten aus einem Blobcontainer in ein Dateisystem zu vereinfachen. Sie können diese Integration während der Clustererstellung konfigurieren, und Sie können jederzeit nach der Erstellung des Clusters einen Importauftrag erstellen.

In diesem Artikel erfahren Sie, wie Sie mithilfe des Azure-Portals einen Importauftrag erstellen, um Daten aus einem Blobcontainer in ein vorhandenes Azure Managed Lustre-Dateisystem zu importieren.

Hinweis

Wenn Sie Daten aus einem Blobcontainer in ein Azure Managed Lustre-Dateisystem importieren, werden nur die Dateinamen (Namespace) und die Metadaten in den Lustre-Namespace importiert. Der tatsächliche Inhalt eines Blobs wird importiert, wenn ein Client zum ersten Mal darauf zugreift. Beim ersten Zugriff auf die Daten kommt es zu einer leichten Verzögerung, während das Feature Hierarchische Speicherverwaltung (HSM) lustre den Blobinhalt in die entsprechende Datei im Dateisystem abruft. Diese Verzögerung tritt nur auf, wenn zum ersten Mal auf eine Datei zugegriffen wird.

Sie können den Inhalt von Blobs mit dem Lustre-Befehl lfs hsm_restore von einem eingebundenen Client mit sudo-Funktionen vorab abrufen. Weitere Informationen finden Sie unter Wiederherstellen von Daten aus Blob Storage.

Voraussetzungen

• Vorhandenes Azure Managed Lustre-Dateisystem: Erstellen Sie eins über das Azure-Portal, Azure Resource Manager oder Terraform. Weitere Informationen zur Blobintegration finden Sie unter Voraussetzungen für die Blobintegration.

Erstellen eines Importauftrags

Das Importieren von Daten aus einem Blobcontainer in ein Azure Managed Lustre-Dateisystem beginnt mit dem Erstellen eines Importauftrags. In diesem Abschnitt erfahren Sie, wie Sie einen Importauftrag im Azure-Portal erstellen, konfigurieren und starten.

Hinweis

Nur ein Import- oder Exportauftrag kann gleichzeitig ausgeführt werden. Wenn beispielsweise ein Importauftrag ausgeführt wird, gibt der Versuch, einen anderen Import- oder Exportauftrag zu starten, einen Fehler zurück.

Konfigurieren von Importoptionen und Starten des Auftrags

Führen Sie die folgenden Schritte aus, um die Importoptionen zu konfigurieren und den Auftrag zu starten:

1. Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem, und navigieren Sie unter Einstellungen zum Bereich Blobintegration.
2. Wählen Sie + Neuen Auftrag erstellen aus.
3. Wählen Sie in der Dropdownliste Auftragstypdie Option Importieren aus.
4. Geben Sie im Feld Auftragsname einen Namen für den Importauftrag ein.
5. Wählen Sie einen Wert für das Feld Konfliktlösungsmodus aus. Diese Einstellung bestimmt, wie der Importauftrag Konflikte zwischen vorhandenen Dateien im Dateisystem und importierten Dateien verarbeitet. In diesem Beispiel wählen Sie Überspringen aus. Weitere Informationen finden Sie unter Konfliktlösungsmodus.
6. Wählen Sie einen Wert für Fehlertoleranz aus. Diese Einstellung bestimmt, wie der Importauftrag Fehler behandelt, die während des Importvorgangs auftreten. In diesem Beispiel wählen Wir Fehler zulassen aus. Weitere Informationen finden Sie unter Fehlertoleranz.
7. Geben Sie Importpräfixe ein, um die aus Blob Storage importierten Daten zu filtern. Im Azure-Portal können Sie bis zu 10 Präfixe eingeben. In diesem Beispiel geben wir die Präfixe /data und /logs an. Weitere Informationen finden Sie unter Importieren von Präfixen.
8. Nachdem der Auftrag konfiguriert wurde, wählen Sie Start aus, um den Importvorgang zu starten.

Der folgende Screenshot zeigt die Konfigurationseinstellungen des Importauftrags im Azure-Portal:

Überwachen des Importauftrags

Nachdem der Importauftrag erstellt wurde, können Sie den Fortschritt überwachen, um sicherzustellen, dass er erfolgreich abgeschlossen wird. In diesem Abschnitt erfahren Sie, wie Sie den Importauftrag im Azure-Portal überwachen.

Führen Sie die folgenden Schritte aus, um die Auftragsdetails anzuzeigen:

1. Öffnen Sie im Azure-Portal Ihr Azure Managed Lustre-Dateisystem, und navigieren Sie unter Einstellungen zum Bereich Blobintegration.
2. Wählen Sie den Importauftrag aus, den Sie überwachen möchten, aus der Liste der zuletzt verwendeten Aufträge.
3. Im Bereich Auftragsdetails werden Informationen zum Auftrag angezeigt, z. B. Auftragsstatus, Startzeit, importierte Blobs und alle Fehler oder Konflikte, die während des Importvorgangs aufgetreten sind.

Der folgende Screenshot zeigt die Auftragsdetails für einen Importauftrag im Azure-Portal:

Nach Abschluss des Auftrags können Sie den Protokollierungscontainer anzeigen, um detaillierte Informationen zum Importprozess anzuzeigen, einschließlich aufgetretener Fehler oder Konflikte. Diese Informationen sind erst verfügbar, nachdem der Auftrag abgeschlossen wurde.

Nächste Schritte

Weitere Informationen zur Verwendung von Azure Blob Storage mit Azure Managed Lustre finden Sie unter Verwenden von Azure Blob Storage mit einem Azure Managed Lustre-Dateisystem.