Tutorial: Criar um Jupyter Notebook para analisar dados em sua conta do Azure Cosmos DB para NoSQL usando blocos de anotações do Visual Studio Code Jupyter

APLICA-SE A: NoSQL

Este tutorial explica como usar os blocos de anotações do Visual Studio Code Jupyter para interagir com sua conta do Azure Cosmos DB para NoSQL. Você verá como se conectar à sua conta, importar dados e executar consultas.

Pré-requisitos

Python

• Uma conta existente do Azure Cosmos DB para NoSQL.
  • Se você tiver uma assinatura existente do Azure, crie uma nova conta.
  • Não há assinatura do Azure? Você pode experimentar o Azure Cosmos DB gratuitamente sem necessidade de cartão de crédito.
• Instale o Visual Studio Code e configure seu ambiente para usar blocos de anotações.

C#

• Uma conta existente do Azure Cosmos DB para NoSQL.
  • Se você tiver uma assinatura existente do Azure, crie uma nova conta.
  • Não há assinatura do Azure? Você pode experimentar o Azure Cosmos DB gratuitamente sem necessidade de cartão de crédito.
• Instale o Visual Studio Code e configure seu ambiente para usar blocos de anotações.
• Instale a extensão de blocos de anotações Polyglot para Visual Studio Code.

Criar um novo Notebook

Nesta seção, você criará o banco de dados do Azure Cosmos, o contêiner e importará os dados de varejo para o contêiner.

Python

1. Abra o Visual Studio Code.
2. Execute o comando Criar: Novo Bloco de Anotações Jupyter na Paleta de Comandos (Ctrl+Shift+P) ou crie um novo arquivo .ipynb em seu espaço de trabalho.

C#

1. Abra o Visual Studio Code.

2. Execute o comando Bloco de Anotações Poliglota: Criar novo bloco de anotações em branco a partir da Paleta de Comandos (Ctrl+Shift+P).

   

3. Selecione a extensão de arquivo .ipynb.

4. Selecione C# como o idioma padrão.

Gorjeta

Agora que o novo bloco de anotações foi criado, você pode salvá-lo e nomeá-lo como AnalyzeRetailData.ipynb.

Criar um banco de dados e um contêiner usando o SDK

Python

1. Comece na célula de código padrão.

2. Instale o pacote Azure.cosmos. Execute esta célula antes de continuar.

   %pip install azure.cosmos
   

3. Importe todos os pacotes necessários para este tutorial.

   import azure.cosmos
   from azure.cosmos.partition_key import PartitionKey
   from azure.cosmos import CosmosClient
   

4. Crie uma nova instância de CosmosClient.

   endpoint = "<FILL ME>"
   key = "<FILL ME>"
   cosmos_client = CosmosClient(url=endpoint, credential=key)
   

5. Crie um banco de dados chamado RetailIngest usando o SDK interno.

   database = cosmos_client.create_database_if_not_exists('RetailIngest')
   

6. Crie um contêiner chamado WebsiteMetrics com uma chave de partição de /CartID.

   container = database.create_container_if_not_exists(id='WebsiteMetrics', partition_key=PartitionKey(path='/CartID'))
   

7. Selecione Executar para criar o recurso de banco de dados e contêiner.

   

C#

1. Comece na célula de código padrão.

2. Instale o pacote NuGet Microsoft.Azure.Cosmos. Execute esta célula antes de continuar.

   #r "nuget: Microsoft.Azure.Cosmos"
   

3. Crie uma nova célula de código.

4. Importe todos os pacotes necessários para este tutorial.

   using Microsoft.Azure.Cosmos;
   

5. Crie uma nova instância do tipo de cliente usando o SDK interno. Preencha o ponto de extremidade do URI e a chave da sua conta do Azure Cosmos DB. Você pode encontrar esses valores na página Chaves em sua conta do Azure Cosmos DB.

   var endpoint = "<FILL ME>";
   var key = "<FILL ME>";
   
   var cosmosClient = new CosmosClient(Cosmos.Endpoint, Cosmos.Key);
   

6. Crie um banco de dados chamado RetailIngest.

   Database database = await cosmosClient.CreateDatabaseIfNotExistsAsync("RetailIngest");
   

7. Crie um contêiner chamado WebsiteMetrics com uma chave de partição de /CartID.

   Container container = await database.CreateContainerIfNotExistsAsync("WebsiteMetrics", "/CartID");
   

8. Selecione Executar célula para criar o recurso de banco de dados e contêiner.

   

Importar dados para o contêiner

Python

1. Adicionar uma nova célula de código

2. Dentro da célula de código, adicione o seguinte código para carregar dados desta url: <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json>.

       import urllib.request
       import json
   
       with urllib.request.urlopen("https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json") as url:
           docs = json.loads(url.read().decode())
   
       for doc in docs:
           container.upsert_item(doc)
   

3. Execute a célula. Isso levará de 45 segundos a 1 minuto para ser executado.

C#

1. Adicione uma nova célula de código.

2. Na célula de código, crie uma nova classe C# para representar um item no contêiner. Execute a célula.

   public class Record
   {
     public string id { get; set; }
     public int CartID { get; set; }
     public string Action { get; set; }
     public decimal Price { get; set; }
     public string Country { get; set; }
     public string Item { get; set; }
   }
   

3. Adicione uma nova célula de código.

4. Dentro da célula de código, adicione o seguinte código para carregar dados desta url: <https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json>.

   using System.Net.Http;
   using System.Text.Json;
   using System.IO;
   
   var dataURL = "https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json";
   var jsonData = new HttpClient().GetStringAsync(dataURL).Result;
   
   Record[] result = JsonSerializer.Deserialize<Record[]>(jsonData);
   
   foreach (Record record in result) {
       await container.UpsertItemAsync<Record>(record, new PartitionKey(record.CartID)); //43 seconds
   }
   

5. Execute a célula. Isso levará de 45 segundos a 1 minuto para ser executado.

Analise os seus dados

Python

1. Crie outra nova célula de código.

2. Na célula de código, use uma consulta SQL para preencher um Pandas DataFrame. Execute esta célula.

   import pandas as pd
   from pandas import DataFrame
   
   QUERY = "SELECT c.Action, c.Price as ItemRevenue, c.Country, c.Item FROM c"
   results = container.query_items(
       query=QUERY, enable_cross_partition_query=True
   )
   
   df_cosmos = pd.DataFrame(results)
   

3. Crie outra nova célula de código.

4. Na célula de código, produza os 10 principais itens do dataframe. Execute esta célula.

   df_cosmos.head(10)
   

5. Observe a saída da execução do comando.

   	Ação	ItemRevenue	País	Item
   0	Comprado	19.99	Macedônia	Camisa de botão
   1	Visualizados	12.00	Papua-Nova Guiné	Colar
   2	Visualizados	25.00	Eslováquia (República Eslovaca)	Camisola Cardigan
   3	Comprado	14.00	Senegal	Chinelos Sapatos
   4	Visualizados	50.00	Panamá	Calções Denim
   5	Visualizados	14.00	Senegal	Chinelos Sapatos
   6	Adicionou	14.00	Senegal	Chinelos Sapatos
   7	Adicionou	50.00	Panamá	Calções Denim
   8	Comprado	33.00	Autoridade Palestina	Topo vermelho
   9	Visualizados	30,00	Malta	Camisola Verde

6. Crie outra nova célula de código.

7. Na célula de código, importe o pacote pandas para personalizar a saída do dataframe. Execute esta célula.

   import pandas as pd    
   df_cosmos.groupby("Item").size().reset_index()
   

8. Observe a saída da execução do comando.

   	Item	Teste
   0	Chinelos Sapatos	66
   1	Colar	55
   2	Calçado Atlético	111
   ...	...	...
   45	Casaco corta-vento	56

C#

1. Crie uma nova célula de código.

2. Na célula de código, adicione código para executar uma consulta SQL usando o SDK armazenando a saída da consulta em uma variável do tipo List<T> chamada results.

   using System.Collections.Generic;
   
   var query = new QueryDefinition(
       query: "SELECT c.Action, c.Price, c.Country, c.Item FROM c"
   );
   
   FeedIterator<Record> feed = container.GetItemQueryIterator<Record>(
       queryDefinition: query
   );
   
   var results = new List<Record>();
   while (feed.HasMoreResults)
   {
       FeedResponse<Record> response = await feed.ReadNextAsync();
       foreach (Record result in response)
       {
           results.Add(result);
       }
   }
   

3. Crie outra nova célula de código.

4. Na célula de código, crie um dicionário adicionando permutações exclusivas do campo Item como a chave e a soma do campo Preço como o valor. Isso dá o total de vendas para cada item. Execute esta célula.

   var dictionary = new Dictionary<string, decimal>();
   
   foreach(var result in results)
   {
       if (dictionary.ContainsKey(result.Item)) {
           dictionary[result.Item] += result.Price;
       }
       else {
           dictionary.TryAdd (result.Item, result.Price); 
   
       }
   }
   
   dictionary
   

5. Observe a saída com combinações exclusivas dos campos Item e Preço.

   ...
   Black Tee: 603
   Flannel Shirt: 1199.40
   Socks: 210.00
   Rainjacket: 2695
   ...
   

Próximos passos

• Introdução à biblioteca de cliente do Azure Cosmos DB para NoSQL para .NET
• Introdução à biblioteca de cliente do Azure Cosmos DB para NoSQL para Python