Trigger úloh při přijetí nových souborů

Triggery přijetí souborů můžete použít k aktivaci spuštění úlohy Azure Databricks při příchodu nových souborů do externího umístění, jako je Amazon S3, úložiště Azure nebo Google Cloud Storage. Tuto funkci můžete použít, pokud je plánovaná úloha neefektivní, protože nová data jsou přijímána nepravidelně.

Triggery přijetí souborů se snaží každou minutu zkontrolovat nové soubory, i když to může mít vliv na výkon základního cloudového úložiště. Triggery přijetí souborů neúčtují jiné náklady než náklady na poskytovatele cloudu spojené se výpisem souborů v umístění úložiště.

Je možné nakonfigurovat trigger pro přijetí souboru tak, aby sledoval buď kořen umístění nebo svazku v prostředí Unity Catalog, nebo dílčí cestu externího umístění nebo svazku. Například pro kořenový svazek Unity Catalog/Volumes/mycatalog/myschema/myvolume/jsou platné cesty pro spouštěč přijetí souboru:

/Volumes/mycatalog/myschema/myvolume/
/Volumes/mycatalog/myschema/myvolume/mydirectory/

Trigger přijetí souboru rekurzivně kontroluje nové soubory ve všech podadresářích nakonfigurovaného umístění. Pokud například vytvoříte aktivační událost přijetí souboru pro umístění /Volumes/mycatalog/myschema/myvolume/mydirectory/ a toto umístění obsahuje následující podadresáře:

/Volumes/mycatalog/myschema/myvolume/mydirectory/subdirA
/Volumes/mycatalog/myschema/myvolume/mydirectory/subdirB
/Volumes/mycatalog/myschema/myvolume/mydirectory/subdirC/subdirD

Trigger kontroluje nové soubory v mydirectory, subdirA, subdirB, subdirCa subdirC/subdirD.

Požadavky

K použití triggerů přijetí souborů jsou potřeba následující:

• Pracovní prostor musí mít Unity Catalog povolenou.
• Musíte použít umístění úložiště, které je buď svazkem Unity Catalog, nebo externím umístěním přidaným do metastoru Unity Catalog. Viz Vytvoření externího umístění pro připojení cloudového úložiště k Azure Databricks.
• Musíte mít READ oprávnění k umístění úložiště a oprávnění MŮŽE SPRAVOVAT v úloze. Další informace o oprávněních úlohy najdete v tématu Seznamy ACL úloh.

Omezení

• Spustí se jenom nové soubory. Přepsání existujícího souboru se souborem se stejným názvem neaktivuje spuštění.
• V pracovním prostoru Azure Databricks je možné nakonfigurovat maximálně padesát úloh s triggerem přijetí souboru.
• Umístění úložiště nakonfigurované pro trigger přijetí souboru může obsahovat pouze 10 000 souborů. Umístění s více soubory nelze monitorovat pro nové přijetí souborů. Pokud je nakonfigurované umístění úložiště dílčí cestou v rámci externího umístění nebo svazku Unity Catalog, vztahuje se 10 000 souborů limit na dílčí cestu, nikoli na kořen umístění úložiště. Kořen umístění úložiště může například obsahovat více než 10 000 souborů v podadresářích, ale nakonfigurovaný podadresář nesmí překročit 10 000 souborů limit.
• Cesta použitá pro trigger přijetí souboru nesmí obsahovat žádné externí tables ani spravovaná umístění catalogs a schémat.
• Cesta použitá pro aktivační událost přijetí souboru nesmí obsahovat zástupné cardy, * například nebo ?.

Přidání triggeru přijetí souboru

Přidání triggeru přijetí souboru do úlohy:

1. Na bočním panelu klikněte na Pracovní postupy.
2. Na kartě Úlohy klikněte na název úlohy v sekci Názevcolumn.
3. Na panelu Podrobností úlohy na pravé straně klikněte na Tlačítko Přidat aktivační událost.
4. Typ triggeru ,- přijetí souboru select.
5. V umístění úložištězadejte adresu URL kořenového adresáře nebo dílčí cestu Unity Catalog externího umístění nebo kořen nebo dílčí cestu svazku Unity Catalog, který chcete monitorovat.
6. (Volitelné) Konfigurace rozšířených možností:
   • Minimální doba mezi aktivačními událostmi v sekundách: Minimální doba čekání na spuštění po dokončení předchozího spuštění. Soubory, které dorazí v tomto období, aktivují spuštění až po vypršení doby čekání. Pomocí tohoto nastavení můžete řídit frekvenci vytváření spuštění.
   • Počkejte po poslední změně v sekundách: Doba čekání na aktivaci spuštění po přijetí souboru. Dalším doručením souboru v tomto období se časovač resetuje. Toto nastavení se dá použít při doručení souborů do dávek a po přijetí všech souborů je potřeba zpracovat celou dávku.
7. Chcete-li ověřit konfiguraci, klikněte na tlačítko Test připojení.
8. Klikněte na Uložit.

Oznámení o neúspěšných triggerech přijetí souboru

Pokud chcete dostávat oznámení v případě, že se trigger přijetí souboru nepodaří vyhodnotit, nastavte si oznámení o selhání úlohy e-mailem nebo v systému. Viz Přidejte oznámení na úlohu.