Partilhar via

Avaliar Recomendador

  • Artigo

Importante

O suporte para o Estúdio de ML (clássico) terminará a 31 de agosto de 2024. Recomendamos a transição para o Azure Machine Learning até essa data.

A partir de 1 de dezembro de 2021, não poderá criar novos recursos do Estúdio de ML (clássico). Até 31 de agosto de 2024, pode continuar a utilizar os recursos existentes do Estúdio de ML (clássico).

A documentação do Estúdio de ML (clássico) está a ser descontinuada e poderá não ser atualizada no futuro.

Avalia a precisão das previsões do modelo recomendador

Categoria: Machine Learning / Avaliar

Nota

Aplica-se a: Machine Learning Studio (clássico) apenas

Módulos semelhantes de arrasto e queda estão disponíveis em Azure Machine Learning designer.

Visão geral do módulo

Este artigo descreve como utilizar o módulo De Avaliação Dereserizador em Machine Learning Studio (clássico), para medir a precisão das previsões feitas por um modelo de recomendação. Utilizando este módulo, pode avaliar quatro tipos diferentes de recomendações:

  • Classificações previstas para um determinado utilizador e item

  • Itens recomendados para um determinado utilizador

  • Uma lista de utilizadores encontradas relacionadas com um determinado utilizador

  • Uma lista de itens encontrados relacionados com um determinado item

Quando cria previsões usando um modelo de recomendação, os resultados ligeiramente diferentes são devolvidos para cada um destes tipos de previsão suportados. O módulo De avaliação de Recomendação deduz o tipo de previsão do formato de coluna do conjunto de dados pontuado. Por exemplo, o conjunto de dados marcado pode conter:

  • triplos de classificação de artigos de utilizador
  • utilizadores e seus itens recomendados
  • utilizadores e seus utilizadores relacionados
  • itens e seus itens relacionados

O módulo também aplica as métricas de desempenho apropriadas, com base no tipo de previsão que está sendo feita.

Dica

Saiba tudo o que precisa de saber sobre a experiência de ponta a ponta de construir um sistema de recomendação neste tutorial da equipa de desenvolvimento .NET. Inclui o código de amostra e a discussão de como chamá Machine Learning de uma aplicação.

Motor de recomendação de construção para aplicações .NET utilizando Machine Learning

Como configurar avaliar o Recomendador

O módulo Avaliador Recomendador compara a saída das previsões por um modelo de recomendação com os dados correspondentes da "verdade do solo". Por exemplo, o módulo 'Recomendador's Score Matchbox produz conjuntos de dados pontuados que podem ser analisados com o Avaliador De avaliação.

Requisitos

Avaliar o Recomendador requer os seguintes conjuntos de dados como entrada.

Conjunto de dados de teste

O conjunto de dados de teste contém os dados de "verdade no solo" sob a forma de triplos de classificação de artigos de utilizador.

Se já tiver um conjunto de dados que contenha triplos de classificação de produto do utilizador, pode aplicar o módulo De Dados Divididos , utilizando a opção RecomendadoraSplit , para criar um conjunto de dados de formação e um conjunto de testes relacionados a partir do conjunto de dados existente.

Conjunto de dados pontuado

O conjunto de dados pontuado contém as previsões que foram geradas pelo modelo de recomendação.

As colunas deste segundo conjunto de dados dependem do tipo de previsão que estava a fazer durante a pontuação. Por exemplo, o conjunto de dados pontuado pode conter qualquer um dos seguintes:

  • Utilizadores, itens e classificações que o utilizador provavelmente daria para o item
  • Uma lista de utilizadores e itens recomendados para eles
  • Uma lista de utilizadores, com utilizadores que provavelmente são semelhantes a eles
  • Uma lista de itens, juntamente com itens smiliar

Métricas

As métricas de desempenho do modelo são geradas com base no tipo de entrada. Para mais detalhes, consulte estas secções:

Avaliar as classificações previstas

Ao avaliar as classificações previstas, o conjunto de dados pontuado (a segunda entrada para avaliar o Recomendador) deve conter triplos de classificação de artigos de utilizador, cumprindo estes requisitos:

  • A primeira coluna do conjunto de dados contém identificadores de utilizador.

  • A segunda coluna contém os identificadores de item.

  • A terceira coluna contém as classificações correspondentes de produto de utilizador.

Importante

Para que a avaliação tenha sucesso, os nomes das colunas devem ser User, Iteme Rating, respectivamente.

Avaliar o Recomendador compara as classificações no conjunto de dados da verdade no solo com as classificações previstas do conjunto de dados pontuados, e calcula o erro absoluto médio (MAE) e o erro quadrado médio de raiz (RMSE).

Os outros parâmetros do Avaliador Não têm qualquer efeito na avaliação das previsões de classificação.

Avaliar recomendações de artigos

Ao avaliar a recomendação do artigo, utilize um conjunto de dados pontuado que inclua os itens recomendados para cada utilizador:

  • A primeira coluna do conjunto de dados deve conter o identificador do utilizador.

  • Todas as colunas subsequentes devem conter os correspondentes identificadores de artigo recomendado, encomendados pela relevância de um item para o utilizador.

    Antes de ligar este conjunto de dados, recomendamos que serdene o conjunto de dados de modo a que os itens mais relevantes venham em primeiro lugar.

Os outros parâmetros do Avaliador não têm qualquer efeito na avaliação das recomendações do artigo.

Importante

Para avaliar o Recomendador para funcionar, os nomes das colunas devem ser User, Item 1Item 2, e Item 3 assim por diante.

Avaliar o Recomendador calcula o ganho acumulado médio normalizado (NDCG) e devolve-o no conjunto de dados de saída.

Uma vez que é impossível saber a verdadeira "verdade básica" para os itens recomendados, o Assess Recommender utiliza as classificações de produto do utilizador no conjunto de dados de teste como ganhos na computação do NDCG. Para avaliar, o módulo de pontuação recomendador só deve produzir recomendações para itens com classificações de verdade terrestre (no conjunto de dados de teste).

Avaliar previsões de utilizadores relacionados

Ao avaliar as previsões dos utilizadores relacionados, utilize um conjunto de dados pontuado que contenha os utilizadores relacionados para cada utilizador de interesse:

  • A primeira coluna deve conter os identificadores para cada utilizador de interesse.

  • Todas as colunas subsequentes contêm os identificadores para os utilizadores relacionados previstos. Os utilizadores relacionados são ordenados pela força da realização (a maioria dos utilizadores relacionados em primeiro lugar).

  • Para avaliar o Recomendador para funcionar, os nomes das colunas devem ser UserRelated User 1, Related User 2, , Related User 3e assim por diante.

Dica

Pode influenciar a avaliação definindo o número mínimo de itens que um utilizador de interesse e seus utilizadores relacionados devem ter em comum.

Avaliar o Recomendador calcula o ganho acumulado médio normalizado (NDCG), com base nas distâncias de Manhattan (L1 Sim NDCG) e Euclidean (L2 Sim NDCG) e devolve ambos os valores no conjunto de dados de saída. Como não existe uma verdade básica para os utilizadores relacionados, o Assess Recommender utiliza o seguinte procedimento para calcular os NDCGs médios.

Para cada utilizador de interesse no conjunto de dados pontuado:

  1. Encontre todos os itens no conjunto de dados de teste que tenham sido avaliados tanto pelo utilizador de interesse como pelo utilizador relacionado em consideração.

  2. Crie dois vetores a partir das classificações destes itens: um para o utilizador de interesse, e outro para o utilizador relacionado em consideração.

  3. Calcular o ganho como a semelhança dos dois vetores de classificação resultantes, em termos da sua distância de Manhattan (L1) ou Euclidean (L2).

  4. Computação do L1 Sim NDCG e do L2 Sim NDCG, utilizando os ganhos de todos os utilizadores relacionados.

  5. Os valores médios do NDCG sobre todos os utilizadores no conjunto de dados pontuados.

Por outras palavras, o ganho é calculado como a semelhança (distâncias normalizadas de Manhattan ou euclidiana) entre um utilizador de interesse (a entrada na primeira coluna de conjunto de dados pontuado) e um dado utilizador relacionado (a entrada na coluna n-th do conjunto de dados pontuado). O ganho deste par de utilizadores é calculado utilizando todos os itens para os quais ambos os itens foram classificados nos dados originais (conjunto de teste). O NDCG é então calculado agregando os ganhos individuais para um único utilizador de interesse e todos os utilizadores relacionados, utilizando descontos logarítmicos. Ou seja, um valor NDCG é calculado para cada utilizador de interesse (cada linha no conjunto de dados pontuado). O número que é finalmente reportado é a média aritmética sobre todos os utilizadores de interesse no conjunto de dados pontuado (ou seja, as suas linhas).

Assim, para avaliar, o módulo de pontuação recomendador só deve prever utilizadores relacionados que tenham itens com classificações de verdade terrestre (no conjunto de dados de teste).

Avaliar previsões de itens relacionados

Ao avaliar a previsão de itens relacionados, utilize um conjunto de dados pontuado que contenha os itens relacionados para cada item de interesse:

  • A primeira coluna deve conter identificadores para os elementos de interesse.

  • Todas as colunas subsequentes devem conter identificadores para os itens relacionados previstos, ordenados pela sua relação com o item de interesse (primeiro item mais relacionado).

  • Para avaliar o Recomendador para funcionar, os nomes das colunas devem ser ItemRelated Item 1, Related Item 2, , Related Item 3e assim por diante.

Dica

Pode influenciar a avaliação definindo o número mínimo de utilizadores que um item de interesse e seus itens relacionados devem ter em comum.

A Avaliação DeComender calcula o ganho acumulado médio normalizado (NDCG) com base nas distâncias de Manhattan (L1 Sim NDCG) e Euclidean (L2 Sim NDCG) e devolve ambos os valores no conjunto de dados de saída. Como não existe uma verdade básica para os itens relacionados, avaliar o Recomendador calcula os NDCGs médios da seguinte forma:

Para cada item de interesse no conjunto de dados pontuado:

  1. Encontre todos os utilizadores no conjunto de dados de teste que avaliaram tanto o item de interesse como o item relacionado em consideração.

  2. Crie dois vetores a partir das classificações destes utilizadores, um para o item de interesse e para o item relacionado em consideração.

  3. Calcular o ganho como a semelhança dos dois vetores de classificação resultantes em termos da sua distância de Manhattan (L1) ou Euclidean (L2).

  4. Computação do L1 Sim NDCG e do L2 Sim NDCG utilizando os ganhos de todos os itens relacionados.

  5. Os valores médios do NDCG sobre todos os itens de interesse no conjunto de dados pontuados.

Por outras palavras, o ganho é calculado como a semelhança (distâncias normalizadas de Manhattan ou euclidiana) entre um item de interesse (a entrada na primeira coluna de conjunto de dados pontuado) e um determinado item relacionado (a entrada na coluna n-th do conjunto de dados pontuado). O ganho deste par de artigos é calculado utilizando todos os utilizadores que avaliaram ambos estes itens nos dados originais (conjunto de teste). O NDCG é então calculado agregando os ganhos individuais para um único item de interesse e todos os seus itens relacionados, utilizando descontos logarítmicos. Ou seja, um valor NDCG é calculado para cada item de interesse (cada linha no conjunto de dados pontuado). O número que é finalmente reportado é a média aritmética sobre todos os itens de interesse no conjunto de dados pontuados (ou seja, as suas linhas).

Por isso, para avaliar, o módulo de pontuação do recomendador só deve prever itens relacionados com classificações de verdade terrestre (no conjunto de dados de teste).

Exemplos

Por exemplo, como os modelos de recomendação são usados em Machine Learning, consulte a Galeria Azure AI:

Entradas esperadas

Nome Tipo Description
Conjunto de dados de teste Tabela de Dados Conjunto de dados de teste
Conjunto de dados pontuado Tabela de Dados Conjunto de dados pontuado

Parâmetros do módulo

Nome Intervalo Tipo Predefinição Description
Número mínimo de itens que o utilizador de consulta e o utilizador relacionado devem ter avaliado em comum >=1 Número inteiro 2 Especificar o número mínimo de itens que devem ter sido avaliados tanto pelo utilizador de consulta como pelo utilizador relacionado

Este parâmetro é opcional
Número mínimo de utilizadores que o item de consulta e o item relacionado devem ter sido avaliados em comum >=1 Número inteiro 2 Especificar o número mínimo de utilizadores que devem ter avaliado tanto o item de consulta como o item relacionado

Este parâmetro é opcional

Saídas

Nome Tipo Description
Metric Tabela de Dados Uma tabela de métricas de avaliação

Exceções

Exceção Description
Erro 0022 A exceção ocorre se o número de colunas selecionadas no conjunto de dados de entrada não for igual ao número esperado.
Erro 0003 A exceção ocorre se uma ou mais entradas forem nulas ou vazias.
Erro 0017 A exceção ocorre se uma ou mais colunas especificadas tiverem o tipo não suportado pelo módulo atual.
Erro 0034 A exceção ocorre se existir mais de uma classificação para um determinado par de artigos de utilizador.
Erro 0018 A exceção ocorre se o conjunto de dados de entrada não for válido.
Erro 0002 A exceção ocorre se um ou mais parâmetros não puderem ser analisados ou convertidos do tipo especificado para o tipo-alvo exigido pelo tipo-alvo.

Para obter uma lista de erros específicos dos módulos Studio (clássicos), consulte Machine Learning Códigos de Erro.

Para obter uma lista de exceções da API, consulte Machine Learning CÓDIGOs de Erro da API REST.

Ver também

Recomendador da caixa de fósforos do comboio
Pontuar Matchbox Recomendador