Utilizar uma base de dados lake

Concluído

Depois de criar uma base de dados lake, pode armazenar ficheiros de dados que correspondam aos esquemas de tabela nas pastas adequadas no data lake e consultar os mesmos com o SQL.

Utilizar um conjunto de SQL sem servidor

Pode consultar uma base de dados lake num script SQL com um conjunto de SQL sem servidor.

Por exemplo, suponha que uma base de dados lake denominada RetailDB contém uma tabela Cliente . Pode consultar através de uma instrução SELECT padrão como esta:

USE RetailDB;
GO

SELECT CustomerID, FirstName, LastName
FROM Customer
ORDER BY LastName;

Não é necessário utilizar uma função OPENROWSET ou incluir qualquer código adicional para aceder aos dados a partir do armazenamento de ficheiros subjacente. O conjunto de SQL sem servidor processa o mapeamento para os ficheiros por si.

Utilizar um conjunto do Apache Spark

Além de utilizar um conjunto de SQL sem servidor, pode trabalhar com tabelas de bases de dados lake com o Spark SQL num conjunto do Apache Spark.

Por exemplo, pode utilizar o seguinte código para inserir um novo registo de cliente na tabela Cliente .

%%sql
INSERT INTO `RetailDB`.`Customer` VALUES (123, 'John', 'Yang')

Em seguida, pode utilizar o seguinte código para consultar a tabela:

%%sql
SELECT * FROM `RetailDB`.`Customer` WHERE CustomerID = 123