Como usar excesso de assinatura para compensar a latência

Artigo
06/16/2023

O excesso de assinatura pode melhorar a eficiência geral de alguns aplicativos que contêm tarefas com uma alta quantidade de latência. Este tópico ilustra como usar o excesso de assinatura para compensar a latência causada pela leitura de dados de uma conexão de rede.

Exemplo

Este exemplo usa a Biblioteca de agentes assíncronos para baixar arquivos de servidores HTTP. A classe http_reader deriva de concurrency::agent e usa a mensagem passando para ler de forma assíncrona quais nomes de URL baixar.

A classe http_reader usa a classe concurrency::task_group para ler simultaneamente cada arquivo. Para habilitar o excesso de assinatura no contexto atual, cada tarefa chama o método concurrency::Context::Oversubscribe com o _BeginOversubscription parâmetro definido como true. Em seguida, cada tarefa usa as classes CInternetSession e CHttpFile do Microsoft Foundation Classes (MFC) para baixar o arquivo. Por fim, cada tarefa chama Context::Oversubscribe com o parâmetro _BeginOversubscription definido para false desabilitar o excesso de assinatura.

Quando o excesso de assinatura está habilitado, o runtime cria um thread adicional no qual executar tarefas. Cada um desses threads também pode substituir o contexto atual e, assim, criar threads adicionais. A classe http_reader usa um objeto concurrency::unbounded_buffer para limitar o número de threads que o aplicativo usa. O agente inicializa o buffer com um número fixo de valores de token. Para cada operação de download, o agente lê um valor de token do buffer antes do início da operação e grava esse valor de volta no buffer após a conclusão da operação. Quando o buffer está vazio, o agente aguarda até que uma das operações de download grave um valor de volta no buffer.

O exemplo a seguir limita o número de tarefas simultâneas a duas vezes o número de threads de hardware disponíveis. Esse valor é um bom ponto de partida a ser usado quando você experimenta o excesso de assinatura. Você pode usar um valor que se ajuste a um ambiente de processamento específico ou alterar dinamicamente esse valor para responder à carga de trabalho real.

// download-oversubscription.cpp
// compile with: /EHsc /MD /D "_AFXDLL"
#define _WIN32_WINNT 0x0501
#include <afxinet.h>
#include <concrtrm.h>
#include <agents.h>
#include <ppl.h>
#include <sstream>
#include <iostream>
#include <array>

using namespace concurrency;
using namespace std;

// Calls the provided work function and returns the number of milliseconds 
// that it takes to call that function.
template <class Function>
__int64 time_call(Function&& f)
{
   __int64 begin = GetTickCount();
   f();
   return GetTickCount() - begin;
}

// Downloads the file at the given URL.
CString GetHttpFile(CInternetSession& session, const CString& strUrl);

// Reads files from HTTP servers.
class http_reader : public agent
{
public:
   explicit http_reader(CInternetSession& session,      
      ISource<string>& source,
      unsigned int& total_bytes,
      unsigned int max_concurrent_reads)
      : _session(session)
      , _source(source)
      , _total_bytes(total_bytes)
   {
      // Add one token to the available tasks buffer for each 
      // possible concurrent read operation. The value of each token 
      // is not important, but can be useful for debugging.
      for (unsigned int i = 0; i < max_concurrent_reads; ++i)
         send(_available_tasks, i);
   }

   // Signals to the agent that there are no more items to download.
   static const string input_sentinel;
 
protected:
   void run()
   {
      // A task group. Each task in the group downloads one file.
      task_group tasks;

      // Holds the total number of bytes downloaded.
      combinable<unsigned int> total_bytes;

      // Read from the source buffer until the application 
      // sends the sentinel value.
      string url;
      while ((url = receive(_source)) != input_sentinel)
      {
         // Wait for a task to release an available slot.
         unsigned int token = receive(_available_tasks);

         // Create a task to download the file.
         tasks.run([&, token, url] {

            // Print a message.
            wstringstream ss;
            ss << L"Downloading " << url.c_str() << L"..." << endl;
            wcout << ss.str();

            // Download the file.
            string content = download(url);

            // Update the total number of bytes downloaded.
            total_bytes.local() += content.size();

            // Release the slot for another task.
            send(_available_tasks, token);
         });
      }

      // Wait for all tasks to finish.
      tasks.wait();
      
      // Compute the total number of bytes download on all threads.
      _total_bytes = total_bytes.combine(plus<unsigned int>());

      // Set the status of the agent to agent_done.
      done();
   }

   // Downloads the file at the given URL.
   string download(const string& url)
   {
      // Enable oversubscription.
      Context::Oversubscribe(true);

      // Download the file.
      string content = GetHttpFile(_session, url.c_str());
      
      // Disable oversubscription.
      Context::Oversubscribe(false);

      return content;
   }

private:
   // Manages the network connection.
   CInternetSession& _session;
   // A message buffer that holds the URL names to download.
   ISource<string>& _source;
   // The total number of bytes downloaded
   unsigned int& _total_bytes;
   // Limits the agent to a given number of simultaneous tasks.
   unbounded_buffer<unsigned int> _available_tasks;
};
const string http_reader::input_sentinel("");

int wmain()
{
   // Create an array of URL names to download.
   // A real-world application might read the names from user input.
   array<string, 21> urls = {
      "http://www.adatum.com/",
      "http://www.adventure-works.com/", 
      "http://www.alpineskihouse.com/",
      "http://www.cpandl.com/", 
      "http://www.cohovineyard.com/",
      "http://www.cohowinery.com/",
      "http://www.cohovineyardandwinery.com/", 
      "http://www.contoso.com/",
      "http://www.consolidatedmessenger.com/",
      "http://www.fabrikam.com/", 
      "http://www.fourthcoffee.com/",
      "http://www.graphicdesigninstitute.com/",
      "http://www.humongousinsurance.com/",
      "http://www.litwareinc.com/",
      "http://www.lucernepublishing.com/",
      "http://www.margiestravel.com/",
      "http://www.northwindtraders.com/",
      "http://www.proseware.com/", 
      "http://www.fineartschool.net",
      "http://www.tailspintoys.com/",
      http_reader::input_sentinel,
   };
      
   // Manages the network connection.
   CInternetSession session("Microsoft Internet Browser");

   // A message buffer that enables the application to send URL names to the 
   // agent.
   unbounded_buffer<string> source_urls;

   // The total number of bytes that the agent has downloaded.
   unsigned int total_bytes = 0u;

   // Create an http_reader object that can oversubscribe each processor by one.
   http_reader reader(session, source_urls, total_bytes, 2*GetProcessorCount());

   // Compute the amount of time that it takes for the agent to download all files.
   __int64 elapsed = time_call([&] {
      
      // Start the agent.
      reader.start();
      
      // Use the message buffer to send each URL name to the agent.
      for_each(begin(urls), end(urls), [&](const string& url) {
         send(source_urls, url);
      });

      // Wait for the agent to finish downloading.
      agent::wait(&reader);      
   });

   // Print the results.
   wcout << L"Downloaded " << total_bytes
         << L" bytes in " << elapsed << " ms." << endl;
}

// Downloads the file at the given URL and returns the size of that file.
CString GetHttpFile(CInternetSession& session, const CString& strUrl)
{
   CString strResult;

   // Reads data from an HTTP server.
   CHttpFile* pHttpFile = NULL;

   try
   {
      // Open URL.
      pHttpFile = (CHttpFile*)session.OpenURL(strUrl, 1, 
         INTERNET_FLAG_TRANSFER_ASCII | 
         INTERNET_FLAG_RELOAD | INTERNET_FLAG_DONT_CACHE);

      // Read the file.
      if(pHttpFile != NULL)
      {           
         UINT uiBytesRead;
         do
         {
            char chBuffer[10000];
            uiBytesRead = pHttpFile->Read(chBuffer, sizeof(chBuffer));
            strResult += chBuffer;
         }
         while (uiBytesRead > 0);
      }
    }
   catch (CInternetException)
   {
      // TODO: Handle exception
   }

   // Clean up and return.
   delete pHttpFile;

   return strResult;
}

Este exemplo produz a seguinte saída em um computador que tem quatro processadores:

Downloading http://www.adatum.com/...
Downloading http://www.adventure-works.com/...
Downloading http://www.alpineskihouse.com/...
Downloading http://www.cpandl.com/...
Downloading http://www.cohovineyard.com/...
Downloading http://www.cohowinery.com/...
Downloading http://www.cohovineyardandwinery.com/...
Downloading http://www.contoso.com/...
Downloading http://www.consolidatedmessenger.com/...
Downloading http://www.fabrikam.com/...
Downloading http://www.fourthcoffee.com/...
Downloading http://www.graphicdesigninstitute.com/...
Downloading http://www.humongousinsurance.com/...
Downloading http://www.litwareinc.com/...
Downloading http://www.lucernepublishing.com/...
Downloading http://www.margiestravel.com/...
Downloading http://www.northwindtraders.com/...
Downloading http://www.proseware.com/...
Downloading http://www.fineartschool.net...
Downloading http://www.tailspintoys.com/...
Downloaded 1801040 bytes in 3276 ms.

O exemplo pode ser executado mais rapidamente quando o excesso de assinatura está habilitado, porque tarefas adicionais são executadas enquanto outras tarefas aguardam a conclusão de uma operação latente.

Compilando o código

Copie o código de exemplo e cole-o em um projeto do Visual Studio, ou cole-o em um arquivo chamado download-oversubscription.cpp, e execute um dos comandos a seguir em uma janela do Prompt de comando do Visual Studio.

cl.exe /EHsc /MD /D "_AFXDLL" download-oversubscription.cpp
cl.exe /EHsc /MT download-oversubscription.cpp

Programação robusta

Sempre desabilite o excesso de assinatura depois que não for precisar mais dele. Considere uma função que não manipula uma exceção gerada por outra função. Se você não desabilitar o excesso de assinatura antes do retorno da função, qualquer trabalho paralelo adicional também produzirá excesso de assinatura no contexto atual.

Você pode usar o padrão RAII (Resource Acquisition Is Initialization) para limitar o excesso de assinatura a um determinado escopo. No padrão RAII, uma estrutura de dados é alocada na pilha. Essa estrutura de dados inicializa ou adquire um recurso quando ele é criado e destrói ou libera esse recurso quando a estrutura de dados é destruída. O padrão RAII garante que o destruidor seja chamado antes que o escopo delimitador seja encerrado. Portanto, o recurso é gerenciado corretamente quando uma exceção é gerada ou quando uma função contém várias instruções return.

O exemplo a seguir define uma estrutura denominada scoped_blocking_signal. O construtor da estrutura scoped_blocking_signal permite o excesso de assinatura, e o destruidor desabilita o excesso de assinatura.

struct scoped_blocking_signal
{
    scoped_blocking_signal()
    {
        concurrency::Context::Oversubscribe(true);
    }
    ~scoped_blocking_signal()
    {
        concurrency::Context::Oversubscribe(false);
    }
};

O exemplo a seguir modifica o corpo do método download para usar RAII para garantir que o excesso de assinatura seja desabilitado antes que a função retorne. Essa técnica garante que o método download seja à prova de exceções.

// Downloads the file at the given URL.
string download(const string& url)
{
   scoped_blocking_signal signal;

   // Download the file.
   return string(GetHttpFile(_session, url.c_str()));
}

Confira também

Contextos
Método Context::Oversubscribe

Compartilhar via

Como usar excesso de assinatura para compensar a latência

Exemplo

Compilando o código

Programação robusta

Confira também

Comentários

Recursos adicionais