Verwalten von Bezeichnungsprojekten

Erfahren Sie, wie Sie ein Bezeichnungsprojekt in Azure Machine Learning verwalten. Dieser Artikel richtet sich an Projektmanager, die für die Verwaltung von Text- oder Bildbezeichnungsprojekten verantwortlich sind. Informationen zum Erstellen des Projekts finden Sie unter Einrichten eines Textbezeichnungsprojekts oder Einrichten eines Bildbezeichnungsprojekts.

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Die Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und ist nicht für Produktionsworkloads vorgesehen. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Ausführen und Überwachen des Projekts

Nachdem Sie das Projekt initialisiert haben, beginnt Azure mit der Ausführung. Um ein Projekt zu verwalten, wählen Sie das Projekt auf der Hauptseite Datenbezeichnung aus.

Um das Projekt anzuhalten oder neu zu starten, schalten Sie auf der Projektbefehlsleiste den Status Wird ausgeführt um. Sie können Daten nur dann bezeichnen, wenn das Projekt ausgeführt wird.

Fortschritt überwachen

Auf der Registerkarte Dashboard wird der Fortschritt der Beschriftungsaufgabe angezeigt.

Bildprojekte

In den Statusdiagrammen sehen Sie, wie viele Elemente bezeichnet oder übersprungen wurden, überarbeitet werden müssen oder noch nicht abgeschlossen sind. Bewegen Sie den Mauszeiger auf das Diagramm, um die Anzahl der Elemente in den einzelnen Abschnitten anzuzeigen.

Eine Verteilung der Bezeichnungen für abgeschlossene Aufgaben wird unterhalb des Diagramms angezeigt. In einigen Projekttypen kann ein Element mehrere Beschriftungen aufweisen. Daher kann die Gesamtzahl der Bezeichnungen die Gesamtzahl der Elemente überschreiten.

Eine Verteilung von Bezeichnungserstellern und die Anzahl der Elemente, die sie bezeichnet haben, werden ebenfalls angezeigt.

Der mittlere Abschnitt zeigt eine Tabelle mit einer Warteschlange nicht zugewiesener Aufgaben. Wenn die ML-unterstützte Beschriftung deaktiviert ist, wird in diesem Abschnitt die Anzahl der manuellen Aufgaben angezeigt, die auf die Zuweisung warten.

Wenn die ML-unterstützte Beschriftung aktiviert ist, zeigt dieser Abschnitt auch Folgendes an:

• Aufgaben, die geclusterte Elemente in der Warteschlange enthalten.
• Aufgaben, die vorab bezeichnete Elemente in der Warteschlange enthalten.

Wenn die ML-unterstützte Beschriftung aktiviert ist, können Sie außerdem nach unten scrollen, um den Status der ML-gestützten Beschriftung anzuzeigen. In den Abschnitten Aufträge werden Links zu den einzelnen Machine Learning-Ausführungen angezeigt.

• Training: Trainiert ein Modell zum Vorhersagen der Bezeichnungen.
• Validierung: Bestimmt, ob die Vorabbeschriftung von Elementen die Vorhersage dieses Modells verwendet.
• Rückschluss: Vorhersageausführung für neue Elemente.
• Featurisierung: Clusterelemente (nur für Bildklassifizierungsprojekte).

Textprojekte

In den Statusdiagrammen sehen Sie, wie viele Elemente bezeichnet oder übersprungen wurden, überarbeitet werden müssen oder noch nicht abgeschlossen sind. Bewegen Sie den Mauszeiger auf das Diagramm, um die Anzahl der Elemente in den einzelnen Abschnitten anzuzeigen.

Eine Verteilung der Bezeichnungen für abgeschlossene Aufgaben wird unterhalb des Diagramms angezeigt. In einigen Projekttypen kann ein Element mehrere Beschriftungen aufweisen. Daher kann die Gesamtzahl der Bezeichnungen die Gesamtzahl der Elemente überschreiten.

Eine Verteilung von Bezeichnungserstellern und die Anzahl der Elemente, die sie bezeichnet haben, werden ebenfalls angezeigt.

Der mittlere Abschnitt zeigt eine Tabelle mit einer Warteschlange nicht zugewiesener Aufgaben. Wenn die ML-unterstützte Beschriftung deaktiviert ist, wird in diesem Abschnitt die Anzahl der manuellen Aufgaben angezeigt, die auf die Zuweisung warten.

Wenn die ML-unterstützte Beschriftung aktiviert ist, zeigt dieser Abschnitt auch Folgendes an:

• Aufgaben, die geclusterte Elemente in der Warteschlange enthalten.
• Aufgaben, die vorab bezeichnete Elemente in der Warteschlange enthalten.

Wenn die ML-unterstützte Beschriftung aktiviert ist, können Sie außerdem nach unten scrollen, um den Status der ML-gestützten Beschriftung anzuzeigen. In den Aufträge-Abschnitten werden Links zu den einzelnen Machine Learning-Ausführungen angezeigt.

Überprüfen von Daten und Bezeichnungen

Zeigen Sie auf der Registerkarte Daten eine Vorschau des Datasets an, und überprüfen Sie die beschrifteten Daten.

Tipp

Stimmen Sie sich vor der Prüfung mit anderen möglichen Prüfern ab. Andernfalls versuchen Sie möglicherweise beide, die gleiche Bezeichnung gleichzeitig zu genehmigen, was die Aktualisierung durch einen von Ihnen verhindert.

Blättern Sie durch die beschrifteten Daten, um die Beschriftungen zu sehen. Wenn Sie falsch beschriftete Daten sehen, markieren Sie diese und wählen Sie Ablehnen aus, um die Beschriftungen zu entfernen und die Daten in die unbeschriftete Warteschlange zurückzustellen.

Übersprungene Elemente

Eine Reihe von Filtern gelten für die Elemente, die Sie überprüfen. Standardmäßig überprüfen Sie bezeichnete Daten. Wählen Sie den Objekttyp-Filter aus, um den Typ auf *Übersprungene zu ändern, um Elemente zu überprüfen, die übersprungen wurden.

Wenn Sie der Meinung sind, dass die übersprungenen Daten beschriftet werden sollen, wählen Sie Ablehnen aus, um sie wieder in die nicht bezeichnete Warteschlange einzufügen. Wenn Sie der Meinung sind, dass die übersprungenen Daten für Ihr Projekt nicht relevant sind, wählen Sie Annehmen aus, um sie aus dem Projekt zu entfernen.

Konsensbezeichnung

Wenn Ihr Projekt die Konsensbeschriftung verwendet, sollten Sie die Bilder überprüfen, die keinen Konsens aufweisen:

Bildprojekte

1. Wählen Sie die Registerkarte Daten aus.

2. Wählen Sie im linken Menü Bezeichnungen überprüfen aus.

3. Wählen Sie in der Befehlsleiste oberhalb von Bezeichnungen überprüfendie Option Alle Filter aus.

   

4. Wählen Sie unter Bezeichnete Datenpunkte die Option Konsensbezeichnungen, die überprüft werden müssen aus, um nur die Bilder anzuzeigen, bei denen die Beschriftungsersteller keinen Konsens gefunden haben.

   

5. Wählen Sie für jedes Bild, das überprüft werden muss, die Dropdownliste Konsensbezeichnung aus, um die in Konflikt stehenden Bezeichnungen anzuzeigen.

   

6. Sie können zwar einen einzelnen Beschriftungsersteller auswählen, um nur seine Bezeichnungen anzuzeigen, aber Sie müssen die oberste Option, Konsensbezeichnung (Vorschau), auswählen, um die Bezeichnungen zu aktualisieren oder abzulehnen.

Textprojekte

1. Wählen Sie die Registerkarte Daten aus.

2. Wählen Sie im linken Menü Bezeichnungen überprüfen aus.

3. Wählen Sie in der Befehlsleiste oberhalb von Bezeichnungen überprüfendie Option Alle Filter aus.

   

4. Wählen Sie unter Beschriftete Datenpunkte die Option Konsensbeschriftungen, die überprüft werden müssen aus, um nur die Elemente anzuzeigen, bei denen die Beschriftungsersteller keinen Konsens gefunden haben.

   

5. Wählen Sie für jedes Element, das überprüft werden muss, die Dropdownliste Konsensbeschriftung aus, um die in Konflikt stehenden Beschriftungen anzuzeigen.

   

6. Sie können zwar einen einzelnen Beschriftungsersteller auswählen, um nur seine Bezeichnungen anzuzeigen, aber Sie müssen die oberste Option, Konsensbezeichnung (Vorschau), auswählen, um die Bezeichnungen zu aktualisieren oder abzulehnen.

Ändern von Projektdetails

Zeigen Sie Details ihres Projekts auf der Registerkarte Details an, und ändern Sie sie dort. Auf dieser Registerkarte können Sie folgende Aktionen ausführen:

• Anzeigen von Projektdetails und Eingabedatasets.
• Aktivieren oder deaktivieren Sie die Option Inkrementelle Aktualisierung in regelmäßigen Abständen aktivieren, oder fordern Sie eine sofortige Aktualisierung an.
• Zeigen Sie Details zum Speichercontainer an, der zur Speicherung bezeichneter Ausgaben in Ihrem Projekt verwendet wird.
• Hinzufügen von Beschriftungen zu Ihrem Projekt.
• Bearbeiten von Anweisungen zu Ihren Bezeichnungen.
• Ändern Sie die Einstellungen für die ML-unterstützte Beschriftung und starten Sie eine Beschriftungsaufgabe.

In Azure KI Services erstellte Projekte

Wenn Ihr Bezeichnungsprojekt aus Vision Studio oder Language Studio erstellt wurde, wird auf der Seite Details eine zusätzliche Registerkarte angezeigt. Auf der Registerkarte können Sie zwischen Bezeichnungen in Azure Machine Learning und Bezeichnungen in Vision Studio oder Language Studio wechseln.

Bildprojekte

Wenn Ihr Projekt über Vision Studio erstellt wurde, wird auch eine Registerkarte Vision Studio angezeigt. Wählen Sie Zu Vision Studio wechseln aus, um zu Vision Studio zurückzukehren. Sobald Sie zu Vision Studio zurückkehren, werden Sie Ihre beschrifteten Daten importieren können.

Textprojekte

Wenn Ihr Projekt mit Language Studio erstellt wurde, sehen Sie eine Registerkarte Language Studio.

• Wenn die Bezeichnung in Language Studio aktiv ist, können Sie nicht in Azure Machine Learning Bezeichnungen vornehmen. In diesem Fall ist Language Studio die einzige verfügbare Registerkarte. Wählen Sie In Language Studio anzeigen aus, um zum aktiven Bezeichnungsprojekt in Language Studio zu wechseln. Von dort aus können Sie auf Wunsch zur Bezeichnung in Azure Machine Learning wechseln.

Wenn die Bezeichnung in Azure Machine Learning aktiv ist, haben Sie zwei Möglichkeiten:

• Wählen Sie Zu Language Studio wechseln aus, um Ihre Bezeichnungsaktivität wieder in Language Studio durchzuführen. Wenn Sie wechseln, werden alle aktuell bezeichnete Daten in Language Studio importiert. Sie können Daten nun nicht mehr in Azure Machine Learning bezeichnen, dafür können Sie dies in Language Studio tun. Sie können jederzeit über Language Studio zur Bezeichnung in Azure Machine Learning zurückkehren.

  Hinweis

  Es können nur Benutzer mit den richtigen Rollen in Azure Machine Learning zwischen den Beschriftungsverfahren wechseln.

• Wählen Sie Von Language Studio trennen aus, um die Beziehung mit Language Studio zu beenden. Nachdem Sie die Verbindung getrennt haben, verliert das Projekt die Zuordnung zu Language Studio und zeigt die Registerkarte „Language Studio“ nicht mehr an. Das Trennen ihres Projekts von Language Studio ist ein permanenter, irreversibler Vorgang. Er kann nicht rückgängig gemacht werden. Sie können in Language Studio nicht mehr auf Ihre Bezeichnungen für dieses Projekt zugreifen. Die Bezeichnungen sind ab diesem Zeitpunkt nur noch in Azure Machine Learning verfügbar.

Hinzufügen neuer Bezeichnungen zu einem Projekt

Während des Datenbeschriftungsprozesses möchten Sie möglicherweise weitere Bezeichnungen hinzufügen, um Ihre Elemente zu klassifizieren. Sie können zum Beispiel eine Bezeichnung Unbekannt oder Sonstige hinzufügen, um auf Unklarheiten hinzuweisen.

So fügen Sie einem Projekt eine oder mehrere Bezeichnungen hinzu:

1. Wählen Sie das Projekt auf der Hauptseite der Datenbeschriftung aus.

2. Schalten Sie in der Projektbefehlsleiste den Status von Wird ausgeführt in Angehalten um, um die Beschriftungaktivität zu beenden.

3. Wählen Sie die Registerkarte Details aus.

4. Wählen Sie in der Liste auf der linken Seite die Option Bezeichnungskategorien aus.

5. Ändern Sie Ihre Bezeichnungen.

   

6. Fügen Sie im Formular ihre neue Bezeichnung hinzu. Wählen Sie dann aus, wie das Projekt fortgesetzt werden soll. Da Sie die verfügbaren Bezeichnungen geändert haben, wählen Sie aus, wie Daten behandelt werden sollen, die bereits bezeichnet sind:

   • Beginnen Sie von vorne, und entfernen Sie alle vorhandenen Beschriftungen. Wählen Sie diese Option aus, wenn Sie mit der Beschriftung von vorn beginnen und dabei den neuen vollständigen Satz von Bezeichnungen verwenden möchten.
   • Beginnen sie von vorne, und behalten Sie alle vorhandenen Bezeichnungen bei. Wählen Sie diese Option aus, um alle Daten als nicht beschriftet zu markieren, die vorhandenen Beschriftungen aber als Standardtag für Bilder beizubehalten, die bereits beschriftet wurden.
   • Fahren Sie fort, und behalten Sie alle vorhandenen Bezeichnungen bei. Wählen Sie diese Option aus, um die bereits bezeichneten Daten unverändert zu lassen und von nun an die neue Bezeichnungen für noch nicht bezeichnete Daten verwenden zu können.

7. Passen Sie Ihre Anweisungsseite nach Bedarf für die neuen Bezeichnungen an.

8. Schalten Sie nach dem Hinzufügen aller neuen Beschriftungen die Option Angehalten zu Wird ausgeführt um, um das Projekt wieder zu starten.

Starten einer ML-unterstützten Beschriftungsaufgabe

Die ML-unterstützte Beschriftung wird automatisch gestartet, nachdem einige Elemente bezeichnet wurden. Dieser automatische Schwellenwert variiert je nach Projekt. Sie können jedoch manuell eine ML-unterstützte Trainingsausführung starten, sofern Ihr Projekt mindestens einige bezeichnete Daten enthält.

Hinweis

Bedarfsgesteuertes Training ist für Projekte, die vor Dezember 2022 erstellt wurden, nicht verfügbar. Um dieses Feature zu verwenden, erstellen Sie ein neues Projekt.

So starten Sie eine neue ML-unterstützte Trainingsausführung:

1. Wählen Sie oben in Ihrem Projekt Details aus.
2. Wählen Sie im linken Menü ML-unterstützte Beschriftung aus.
3. Wählen Sie unten auf der Seite für Bedarfsgesteuertes Training die Option Start aus.

Exportieren der Beschriftungen

Um die Bezeichnungen zu exportieren, wählen Sie auf der Projektbefehlsleiste die Schaltfläche Exportieren aus. Sie können die Beschriftungsdaten für Machine Learning-Experimente jederzeit exportieren.

Bildprojekte

Wenn Ihr Projekttyp die Semantiksegmentierung (Vorschau) ist, wird eine Azure MLTable-Datenressource erstellt.

Für alle anderen Projekttypen können Sie eine Bildbezeichnung exportieren als:

• Eine CSV-Datei. Der Azure Machine Learning-Arbeitsbereich erstellt die CSV-Datei in einem Ordner unter Labeling/export/csv.
• Eine Datei im COCO-Format. Azure Machine Learning erstellt die COCO-Datei in einem Ordner in Labeling/export/coco.
• Ein Azure MLTable-Datenobjekt.

Wenn Sie eine CSV- oder COCO-Datei exportieren, wird kurz eine Benachrichtigung angezeigt, wenn die Datei zum Herunterladen bereit ist. Klicken Sie auf den Link Datei herunterladen, um Ihre Ergebnisse herunterzuladen. Sie können die Benachrichtigung auch im Abschnitt Benachrichtigung auf der oberen Leiste finden:

Sie können im Abschnitt Daten von Machine Learning auf exportierte Azure Machine Learning-Datasets und -Datenobjekte zugreifen. Auf der Daten-Detailseite finden Sie auch Beispielcode, den Sie für den Zugriff auf Ihre Bezeichnungen mittels Python verwenden können.

Textprojekte

Um die Bezeichnungen zu exportieren, wählen Sie auf der Seite Projektdetails Ihres Beschriftungsprojekts die Schaltfläche Exportieren aus. Sie können die Beschriftungsdaten für Machine Learning-Experimente jederzeit exportieren.

Sie können für alle Projekttypen außer Erkennung benannter Entitäten in Text Beschriftungsdaten als Folgendes exportieren:

• Eine CSV-Datei. Der Azure Machine Learning-Arbeitsbereich erstellt die CSV-Datei in einem Ordner unter Labeling/export/csv.
• Ein Azure MLTable-Datenobjekt.

Für Projekte vom Typ Erkennung benannter Entitäten in Text können Sie Beschriftungsdaten als Folgendes exportieren:

• Ein Azure MLTable-Datenobjekt.
• Eine CoNLL-Datei. Für diesen Export müssen Sie auch eine Computeressource zuweisen. Der Exportvorgang wird offline ausgeführt und generiert die Datei im Rahmen einer Experimentausführung. Azure Machine Learning erstellt die CoNLL-Datei in einem Ordner. in Labeling/export/conll.

Wenn Sie eine CSV- oder CoNLL-Datei exportieren, wird kurz eine Benachrichtigung angezeigt, wenn die Datei zum Herunterladen bereit ist. Klicken Sie auf den Link Datei herunterladen, um Ihre Ergebnisse herunterzuladen. Sie finden die Benachrichtigung auch im Abschnitt Benachrichtigung auf der oberen Leiste:

Sie können im Abschnitt Daten von Machine Learning auf exportierte Azure Machine Learning-Datasets und -Datenobjekte zugreifen. Auf der Daten-Detailseite finden Sie auch Beispielcode, den Sie für den Zugriff auf Ihre Bezeichnungen mittels Python verwenden können.

Importieren von Bezeichnungen (Vorschau)

Wenn Sie über eine Azure MLTable-Datenressource oder COCO-Datei verfügen, die Bezeichnungen für Ihre aktuellen Daten enthält, können Sie diese Bezeichnungen in Ihr Projekt importieren. Sie können beispielsweise Bezeichnungen haben, die aus einem vorherigen Bezeichnungsprojekt exportiert wurden, indem Sie dieselben Daten verwenden. Das Feature „Bezeichnungen importieren“ ist nur für Bildprojekte verfügbar.

Bildprojekte

Um Bezeichnungen zu importieren, wählen Sie auf der Projektbefehlsleiste die Schaltfläche Importieren aus. Sie können beschriftete Daten für Machine Learning-Experimente jederzeit importieren.

Importieren aus einer COCO-Datei oder einer Azure MLTable-Datenressource.

Datenzuordnung

Sie müssen eine Spalte angeben, die dem Bildfeld zugeordnet ist. Sie können auch optional andere Spalten zuordnen, die in den Daten vorhanden sind. Wenn Ihre Daten beispielsweise eine Spalte für Bezeichnungen enthalten, können Sie sie dem Feld Kategorie zuordnen. Wenn Ihre Daten eine Konfidenz-Spalte enthalten, können Sie sie dem Feld Konfidenz zuordnen.

Wenn Sie Bezeichnungen aus einem vorherigen Projekt importieren, müssen die Bezeichnungen im gleichen Format wie die von Ihnen erstellten Bezeichnungen vorliegen. Wenn Sie beispielsweise Begrenzungsfeldbeschriftungen erstellen, müssen die importierten Bezeichnungen auch Begrenzungsfeldbeschriftungen sein.

Importieren von Optionen

Wählen Sie aus, wie die importierten Bezeichnungen behandelt werden:

• Als vorbeschriftete Daten: Wählen Sie diese Option aus, um die importierten Bezeichnungen als vorbeschriftete Daten zu verwenden. Ihr Bezeichner kann dann die vorbeschrifteten Daten überprüfen und Fehler korrigieren, bevor sie die Etiketten übermitteln.
• Als endgültige Bezeichnungen: Wählen Sie diese Option aus, um die Etiketten als endgültige Bezeichnungen zu importieren. Nur Daten, die noch keine Bezeichnung enthalten, werden ihren Bezeichnungen als Aufgaben angezeigt.

Textprojekte

Das Feature „Beschriftungen importieren“ ist für Textprojekte nicht verfügbar.

Zugriff für Beschriftungsersteller

Jeder Benutzer, der „ Mitwirkender“ oder „Besitzer“-Zugriff auf Ihren Arbeitsbereich hat, kann Daten in Ihrem Projekt beschriften.

Sie können auch die Berechtigungen für Ihre Beschriftungsersteller anpassen, sodass sie zwar auf die Beschriftung, aber nicht auf andere Teile des Arbeitsbereichs oder das Beschriftungsprojekt zugreifen können. Weitere Informationen finden Sie unter Hinzufügen von Benutzern zu Ihrem Datenbeschriftungsprojekt.

Behandeln von Problemen

Verwenden Sie diese Tipps, wenn Sie während der Verwaltung Ihres Projekts eines der folgenden Probleme feststellen:

Problem	Lösung
Es können nur Datasets verwendet werden, die für Blobdatenspeicher erstellt wurden.	Dies ist eine bekannte Einschränkung der aktuellen Version.
Das Entfernen von Daten aus dem Dataset, das ihr Projekt verwendet, führt zu einem Fehler im Projekt.	Entfernen Sie keine Daten aus der Version des Datasets, die Sie in einem Bezeichnungsprojekt verwendet haben. Erstellen Sie eine neue Version des Datasets, das zum Entfernen von Daten verwendet werden soll.
Nachdem ein Projekt erstellt wurde, wird der Projektstatus für einen längeren Zeitraum als Wird initialisiert angezeigt.	Aktualisieren Sie die Seite manuell. Die Initialisierung sollte mit ungefähr 20 Datenpunkten pro Sekunde abgeschlossen werden. „Keine automatische Aktualisierung“ ist ein bekanntes Problem.
Neu bezeichnete Elemente sind in der Datenüberprüfung nicht sichtbar.	Wählen Sie die Schaltfläche Erste aus, um alle bezeichneten Elemente zu laden. Mit der Schaltfläche Erste gelangen Sie zurück an den Anfang der Liste, aber es werden alle bezeichneten Daten geladen.
Sie können eine Gruppe von Aufgaben einem bestimmten Beschriftungsersteller zuweisen.	Dies ist eine bekannte Einschränkung der aktuellen Version.

Problembehandlung bei der Objekterkennung

Problem	Lösung
Wenn Sie bei der Bezeichnung für die Objekterkennung die ESC-TASTE auswählen, wird eine Bezeichnung mit Nullgröße erstellt, und die Bezeichnungsübermittlung schlägt fehl.	Um die Bezeichnung zu löschen, wählen Sie das Löschsymbol X neben der Bezeichnung aus.

Wenn Sie Probleme beim Erstellen des Projekts haben, lesen Sie Problembehandlung beim Erstellen eines Datenbeschriftungsprojekts.

Nächster Schritt

Beschriftung von Bildern und Textdokumenten