Spouštění federovaných dotazů v MySQL

Tento článek popisuje, jak nastavit federaci Lakehouse pro spouštění federovaných dotazů na data MySQL, která nespravuje Azure Databricks. Další informace o federaci Lakehouse najdete v tématu Co je Federace Lakehouse?.

Pokud se chcete připojit k databázi MySQL pomocí federace Lakehouse, musíte v metastore katalogu Azure Databricks Unity vytvořit následující:

• Připojení k vaší databázi MySQL.
• cizí katalog, který zrcadlí databázi MySQL v katalogu Unity Catalog, abyste mohli používat syntaxi dotazů a nástroje pro správu dat v Unity Catalog ke správě uživatelského přístupu k databázi Azure Databricks.

Než začnete

Požadavky na pracovní prostor:

• Pracovní prostor je zapnutý pro katalog Unity.

Požadavky na výpočetní prostředky:

• Síťové připojení z vašeho výpočetního prostředku k cílovým databázovým systémům. Viz doporučení k sítím pro Federaci Lakehouse.
• Výpočetní prostředky Azure Databricks musí používat Databricks Runtime 13.3 LTS nebo novější a sdílené nebo režimu přístupu jednoho uživatele.
• Sql Warehouse musí být pro nebo bezserverové a musí používat verzi 2023.40 nebo vyšší.

Požadovaná oprávnění:

• Pokud chcete vytvořit připojení, musíte být správcem metastoru nebo uživatelem s oprávněním CREATE CONNECTION k metastoru katalogu Unity připojenému k pracovnímu prostoru.
• Chcete-li vytvořit cizí katalog, musíte mít oprávnění CREATE CATALOG k metastoru a být buď vlastníkem připojení, nebo mít oprávnění CREATE FOREIGN CATALOG pro připojení.

Další požadavky na oprávnění jsou uvedeny v následující části založené na úlohách.

Vytvoření připojení

Připojení určuje cestu a přihlašovací údaje pro přístup k externímu databázovému systému. K vytvoření připojení můžete použít Průzkumníka katalogu nebo příkaz CREATE CONNECTION SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks.

Poznámka:

K vytvoření připojení můžete použít také rozhraní REST API Databricks nebo rozhraní příkazového řádku Databricks. Viz POST /api/2.1/unity-catalog/connections a příkazy katalogu Unity.

Požadovaná oprávnění: Správce metastoru nebo uživatel s oprávněním CREATE CONNECTION .

Průzkumník katalogu

1. V pracovním prostoru Azure Databricks klikněte na ikonu Katalog .

2. V horní části podokna katalogu klikněte na ikonu Přidat nebo plusIkona Přidat a v nabídce vyberte Přidat připojení.

   Případně na stránce Rychlý přístup klikněte na tlačítko Externí data >, přejděte na kartu Připojení a klikněte na Vytvořit připojení.

3. Na stránce Základy připojení v průvodci Nastavení připojení zadejte srozumitelný název připojení.

4. Vyberte typ připojení MySQL .

5. (Volitelné) Přidejte komentář.

6. Klikněte na Další.

7. Na stránce Ověřování zadejte následující vlastnosti připojení pro vaši instanci MySQL:

   • Hostitel: Příklad: mysql-demo.lb123.us-west-2.rds.amazonaws.com
   • Port: Příklad: 3306
   • Uživatel: Příklad: mysql_user
   • Heslo: Příklad: password123

8. (Volitelné): Vyberte Důvěřovat certifikátu serveru. Tato možnost je ve výchozím nastavení zrušena. Pokud je tato možnost vybraná, vrstva přenosu používá protokol SSL k šifrování kanálu a obchází řetězec certifikátů k ověření důvěryhodnosti. Ponechte tuto možnost nastavenou na výchozí, pokud nemáte konkrétní potřebu obejít ověření důvěryhodnosti.

9. Klikněte na Vytvořit připojení.

10. Na stránce základy katalogu zadejte název cizího katalogu. Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog.

11. (Volitelné) Kliknutím na test připojení potvrďte, že funguje.

12. Klikněte na Vytvořit katalog.

13. Na stránce Access vyberte pracovní prostory, ve kterých mají uživatelé přístup k vytvořenému katalogu. Můžete vybrat Všechny pracovní prostory mají přístup, nebo klepněte na Přiřadit k pracovním prostorům, vyberte pracovní prostory a potom klikněte na Přiřadit.

14. Změňte vlastníka , který bude moci spravovat přístup ke všem objektům v katalogu. Začněte zadávat subjekt do textového pole a potom klikněte na subjekt ve výsledcích.

15. Udělte oprávnění v katalogu. Klikněte na Udělit:

    1. Specifikujte subjekty , které budou mít přístup k objektům v katalogu. Začněte zadávat subjekt do textového pole a potom klikněte na subjekt ve výsledcích.
    2. Vyberte přednastavení privilegií , které se mají udělit každému hlavnímu objektu. Všichni uživatelé účtu mají ve výchozím nastavení udělené BROWSE.
       • V rozevírací nabídce vyberte Čtečka dat a udělte read oprávnění k objektům v katalogu.
       • V rozevírací nabídce vyberte Datový editor, udělte read a modify oprávnění k objektům v katalogu.
       • Ručně vyberte oprávnění, která chcete udělit.
    3. Klikněte na a udělte.

16. Klikněte na Další.

17. Na stránce Metadata zadejte páry klíč-hodnota tagů. Další informace najdete v tématu Použití značek na zabezpečitelné objekty v Katalogu Unity.

18. (Volitelné) Přidejte komentář.

19. Klikněte na Uložit.

SQL

V poznámkovém bloku nebo editoru dotazů SQL Databricks spusťte následující příkaz.

CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Doporučujeme používat Azure Databricks tajných kódů místo řetězců prostého textu pro citlivé hodnoty, jako jsou přihlašovací údaje. Příklad:

CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Pokud je nutné použít řetězce prostého textu v příkazech SQL poznámkového bloku, vyhněte se zkrácení řetězce pomocí speciálních znaků, jako je $ třeba .\ Například: \$.

Informace o nastavení tajných kódů najdete v tématu Správa tajných kódů.

Vytvoření zahraničního katalogu

Poznámka:

Pokud k vytvoření připojení ke zdroji dat použijete uživatelské rozhraní, zahrne se vytvoření cizího katalogu a tento krok můžete přeskočit.

Cizí katalog zrcadlí databázi v externím datovém systému, abyste mohli dotazovat a spravovat přístup k datům v této databázi pomocí Azure Databricks a Unity Catalog. Chcete-li vytvořit cizí katalog, použijete připojení ke zdroji dat, který již byl definován.

K vytvoření cizího katalogu můžete použít Průzkumníka katalogu nebo příkaz CREATE FOREIGN CATALOG SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks. K vytvoření katalogu můžete použít také rozhraní REST API Databricks nebo rozhraní příkazového řádku Databricks. Viz POST /api/2.1/unity-catalog/catalogs a příkazy katalogu Unity.

Požadovaná oprávnění:CREATE CATALOG oprávnění k metastoru a vlastnictví připojení nebo CREATE FOREIGN CATALOG oprávnění k připojení.

Průzkumník katalogu

1. V pracovním prostoru Azure Databricks kliknutím na ikonu katalogu Katalog otevřete Průzkumníka katalogu.

2. V horní části podokna katalogu klikněte na ikonu Přidat nebo plusIkona Přidat a v nabídce vyberte Přidat katalogu.

   Případně na stránce Rychlý přístup klikněte na tlačítko Katalogy a potom klikněte na tlačítko Vytvořit katalog.

3. Postupujte podle pokynů pro vytváření cizích katalogů v Vytvořit katalogy.

SQL

V poznámkovém bloku nebo editoru SQL Databricks spusťte následující příkaz SQL. Položky v závorkách jsou volitelné. Nahraďte zástupné hodnoty:

• <catalog-name>: Název katalogu v Azure Databricks.
• <connection-name>: Objekt připojení , který určuje zdroj dat, cestu a přihlašovací údaje pro přístup.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Podporované odsdílení změn

Na všech výpočetních prostředcích se podporují následující nabízení:

• Filtry
• Projekce
• Omezení
• Funkce: částečné, pouze pro výrazy filtru. (Řetězcové funkce, matematické funkce, funkce data, času a časového razítka a další různé funkce, jako jsou Alias, Cast, SortOrder)

V Databricks Runtime 13.3 LTS a novějších a ve službě SQL Warehouse se podporují následující nabízené nabídky:

• Souhrny
• Logické operátory
• Následující matematické funkce (nepodporuje se, pokud je anSI zakázán): +, -, *, %, /
• Řazení při použití s limitem

Následující nabízená oznámení nejsou podporována:

• Spojení
• Funkce Systému Windows

Mapování datového typu

Při čtení z MySQL do Sparku se datové typy mapuje takto:

Typ MySQL	Typ Sparku
bigint (pokud není podepsáno), desítkové	DecimalType
tinyint*, int, integer, mediumint, smallint	IntegerType
bigint (pokud je podepsaný)	LongType
float (číslo s plovoucí řádovou čárkou)	FloatType
double	DoubleType
char, enum, set	CharType
varchar	VarcharType
json, longtext, mediumtext, text, tinytext	StringType
binary, blob, varbinary, varchar binary	BinaryType
bit, logická hodnota	BooleanType
datum, rok	Typ data
datetime, time, timestamp**	TimestampType/TimestampNTZType

* tinyint(1) signed a tinyint(1) unsigned jsou považovány za logické a převedeny na BooleanType. Viz referenční informace ke konektoru/J v dokumentaci k MySQL.

** Při čtení z MySQL je MySQL Timestamp mapován na Spark TimestampType pokud preferTimestampNTZ = false (výchozí). MySQL Timestamp se mapuje na TimestampNTZType if preferTimestampNTZ = true.