Treinar recomendador Matchbox
Importante
O suporte para o Machine Learning Studio (clássico) terminará em 31 de agosto de 2024. É recomendável fazer a transição para o Azure Machine Learning até essa data.
A partir de 1º de dezembro de 2021, você não poderá criar recursos do Machine Learning Studio (clássico). Até 31 de agosto de 2024, você pode continuar usando os recursos existentes do Machine Learning Studio (clássico).
- Confira informações sobre como mover projetos de machine learning do ML Studio (clássico) para o Azure Machine Learning.
- Saiba mais sobre o Azure Machine Learning.
A documentação do ML Studio (clássico) está sendo desativada e pode não ser atualizada no futuro.
Treinar um recomendador Bayesiano usando o algoritmo Matchbox
categoria: Machine Learning/treinar
Observação
aplica-se a: somente Machine Learning Studio (clássico)
Módulos semelhantes do tipo "arrastar e soltar" estão disponíveis no designer do Azure Machine Learning.
Visão geral do módulo
este artigo descreve como usar o módulo treinar recomendador Matchbox no Machine Learning Studio (clássico), para treinar um modelo de recomendação.
o algoritmo de recomendação no Machine Learning é baseado no modelo Matchbox , desenvolvido pela Microsoft Research. Para baixar um documento que descreve o algoritmo em detalhes, clique neste link no site do Microsoft Research.
O módulo Treinar Recomendador Matchbox lê um conjunto de dados de triplos de classificação de usuário-item e, opcionalmente, alguns recursos de usuário e item. Retorna um recomendador Matchbox treinado. Você pode usar o modelo treinado para gerar recomendações, localizar usuários relacionados ou localizar itens relacionados, usando o módulo Score Matchbox recomendador .
Dica
Saiba tudo o que você precisa saber sobre a experiência de ponta a ponta de criar um sistema de recomendação neste tutorial da equipe de desenvolvimento do .NET. inclui o código de exemplo e a discussão de como chamar Machine Learning de um aplicativo.
Criando o mecanismo de recomendação para aplicativos .NET usando Machine Learning
Mais sobre modelos de recomendação e o recomendador Matchbox
O objetivo principal de um sistema de recomendação é recomendar um ou mais itens para usuários do sistema. Exemplos de um item podem ser um filme, restaurante, livro ou música. Um usuário pode ser uma pessoa, grupo de pessoas ou outra entidade com as preferências de itens.
Há duas abordagens principais para sistemas recomendadores.
- A primeira é a abordagem com base em conteúdo, que usa recursos para usuários e itens. Os usuários podem ser descritos por propriedades, como idade e sexo; e itens podem ser descritos por propriedades, como autor e fabricante. Exemplos típicos de sistemas de recomendação baseados em conteúdo podem ser encontrados nos sites de compatibilidade social.
- A segunda abordagem é filtragem de colaboração, que usa apenas identificadores dos usuários e itens e obtém informações implícitas sobre essas entidades de uma matriz (esparsa) de classificações fornecidas pelos usuários para os itens. Podemos aprender sobre um usuário por meio dos itens que ele classificou e de outros usuários que classificaram os mesmos itens.
O recomendador Matchbox combina essas abordagens, usando a filtragem colaborativa com uma abordagem baseada em conteúdo. Portanto, ele é considerado um recomendador híbrido.
Como ele funciona: quando um usuário é relativamente novo no sistema, as previsões são aprimoradas por meio das informações de recursos sobre o usuário, resolvendo, assim, o conhecido problema de "inicialização fria". No entanto, após ter coletado um número suficiente de classificações de um determinado usuário, é possível fazer previsões totalmente personalizadas para eles com base em suas classificações específicas e não em seus recursos apenas. Portanto, há uma transição suave das recomendações com base em conteúdo para recomendações baseadas na filtragem de colaboração. Mesmo que os recursos de itens ou de usuários não estejam disponíveis, o Matchbox ainda funciona no modo de filtragem de colaboração.
mais detalhes sobre o recomendador Matchbox e seu algoritmo probabilística subjacente podem ser encontrados no documento de pesquisa relevante: Matchbox: grande escala bayesiana Recomendações Recomendações. além disso, o Blog Machine Learning tem um artigo intitulado Recomendações em todos os lugares que fornece uma introdução de alto nível aos algoritmos de recomendação.
Como configurar o Recomendador Matchbox de treinamento
Preparar dados
Antes de tentar usar o módulo, é essencial que os dados estejam no formato esperado pelo modelo de recomendação. Um conjunto de dados de treinamento de triplos de classificação de usuário-item é necessário, mas também é possível incluir recursos de usuário e de item (se disponíveis), em conjuntos de dados separados.
Para dividir dados de origem nos conjuntos de dados de treinamento e de teste, use a opção de divisão de recomendador no módulo dividir data .
Exige um conjunto de dados de classificação de item-usuário
É muito importante que os dados de entrada usados para treinamento contenham o tipo certo de dados no formato correto:
- A primeira coluna deve conter identificadores de usuário.
- A segunda coluna deve conter os identificadores de item.
- A terceira coluna contém a classificação para o par usuário-item. Os valores de classificação devem ser numéricos ou categóricos.
Durante o treinamento, os valores de classificação não podem ser iguais. Além disso, se for numérico, a diferença entre os valores mínimo e máximo de classificação deve ser menor que 100 e, idealmente, não maior que 20.
o conjunto de valores de classificações de restaurantes no Machine Learning Studio (clássico) (clique em datasets salvos e, em seguida, samples) demonstra o formato esperado:
| userID | posicionaid | classificação |
|---|---|---|
| U1077 | 135085 | 2 |
| U1077 | 135038 | 2 |
Neste exemplo, você pode ver que um único usuário classificou dois restaurantes separados.
Conjunto de usuários de recursos do usuário (opcional)
O conjunto de os recursos de usuário deve conter identificadores para usuários e usar os mesmos identificadores que foram fornecidos na primeira coluna do conjunto de usuários-itens-classificações. As colunas restantes podem conter qualquer número de recursos que descrevam os usuários.
para obter um exemplo, consulte o conjunto de um cliente do restaurante no Machine Learning Studio (clássico). Um conjunto típico de recursos de usuário tem esta aparência:
| userID | ambience | Dress_preference | transporte | fumaça |
|---|---|---|---|---|
| U1004 | família | informal | No pé | FALSE |
| U1005 | friends | Sem preferência | Proprietário do carro | TRUE |
Conjunto de itens de recursos do usuário (opcional)
O conjunto de dados de recursos de item deve conter identificadores de item na primeira coluna. As colunas restantes podem conter qualquer número de recursos descritivos para os itens.
para obter um exemplo, consulte o conjunto de dados de recursos de recurso restaurante, fornecido no Machine Learning Studio (clássico) (clique em datasets salvos e, em seguida, samples). Um conjunto típico de recursos de item (nesse caso, o item é um restaurante) pode ter a seguinte aparência:
| posicionaid | álcool | Smoking_area | price | Rambience |
|---|---|---|---|---|
| 135106 | Wine-Beer | nenhum | low | família |
| 132667 | No_Alcohol_Served | permitido | média | casual |
Treinar o modelo
Adicione o módulo treinar recomendador Matchbox ao seu experimento no estúdio (clássico) e conecte-o aos dados de treinamento.
Se você tiver um conjunto de usuários separado de recursos de usuário e/ou recursos de item, conecte-os ao módulo treinar recomendador Matchbox .
Conjunto de dados de recursos do usuário: conecte o conjunto que descreve os usuários à segunda entrada.
Conjunto de dados de recursos de item: conecte o conjunto que descreve os itens à terceira entrada.
Para número de lotes de treinamento, digite o número de lotes para dividir os dados durante o treinamento.
Com base nesse valor, o conjunto de processamento de percursos de classificação de usuário-item é dividido em várias partes ou lotes durante o treinamento.
Como o Training Matchbox recomendador executa lotes em paralelo, recomendamos que o número de lotes de treinamento seja definido como o número de núcleos disponíveis, se os dados de treinamento inteiros couberem na memória. Caso contrário, o número de lotes de treinamento deve ser definido como o múltiplo mais baixo do número de núcleos disponíveis para os quais os dados de treinamento se encaixam na memória.
Por padrão, os dados de treinamento são divididos em quatro (4) lotes. Somente o conjunto de os processamentos de classificação de usuário-item é dividido. Os recursos de usuário ou item não são divididos porque os recursos não precisam ser divididos.
Para número de características, digite o número de características latentes que devem ser aprendidas para cada usuário e item.
Quanto maior o número de características, mais precisas as previsões normalmente serão; no entanto, o treinamento será mais lento. O número de características geralmente está no intervalo de 2 a 20.
Para o número de iterações do algoritmo de recomendação, indique quantas vezes o algoritmo deve processar os dados de entrada.
O recomendador Matchbox é treinado usando um algoritmo de passagem de mensagens que pode iterar várias vezes nos dados de entrada. Quanto maior esse número, mais precisas as previsões; no entanto, o treinamento é mais lento. Geralmente, o número de iterações é no intervalo de 1 a 10.
Execute o experimento ou selecione apenas o módulo treinar recomendador Matchbox e selecione executar selecionado.
Exemplos
para obter exemplos de como os modelos de recomendação são usados no Machine Learning, consulte estes experimentos de exemplo no Galeria de IA do Azure:
- Exemplode recomendação de filme: demonstra como treinar, avaliar e pontuar usando um modelo de recomendação.
Observações técnicas
Esta seção contém detalhes de implementação, dicas e respostas para perguntas frequentes.
Dicas de uso
Se uma coluna de recurso tiver valores ausentes, o modo dos valores não ausentes será usado como substituição para os valores ausentes.
Todos os recursos de usuário e item são redimensionados para ter comprimento de unidade, para que seu valor absoluto máximo seja 1. Nenhuma conversão é aplicada aos valores de recursos, para manter seu dispersão.
Restrições
A atualização online (ou treinamento contínuo) de um modelo de recomendação não tem suporte no momento no Machine Learning. Se você quiser capturar as respostas do usuário para recomendações e usá-las para melhorar o modelo, sugerimos treinar novamente o modelo completo periodicamente. O treinamento incremental não é possível, mas você pode aplicar uma janela deslizante aos dados de treinamento para garantir que o volume de dados seja minimizado ao usar os dados mais recentes.
Estimando o uso de memória de recomendação
Atualmente, o limite inferior do volume de memória do Matchbox é 16 * N\(4\T + 2\R) bytes, em que N se refere ao número de percursos de classificação de item de usuário no conjunto de espaço de o treinamento, T para o número de características latentes e R para a diferença entre a classificação mínima e máxima (no conjunto de custos de treinamento).
O tamanho de um modelo de recomendador Matchbox serializado é de aproximadamente 16 * T\(U\R + I + X + Y) bytes, em que U se refere ao número de usuários, I ao número de itens, X ao número de recursos de usuário e Y ao número de recursos de item.
Entradas esperadas
| Nome | Tipo | Descrição |
|---|---|---|
| Conjunto de dados de treinamento de triplos de classificação de usuário-item | Tabela de Dados | Classificações de itens por usuários, expressos como um triplo (usuário, item, classificação) |
| Conjunto de dados de treinamento de recursos do usuário | Tabela de Dados | Conjunto de conteúdo que contém recursos que descrevem os usuários (opcional) |
| Conjunto de dados de treinamento de recursos do item | Tabela de Dados | Conjunto de conteúdo que contém recursos que descrevem itens (opcional) |
Parâmetros do módulo
| Nome | Intervalo | Type | Padrão | Descrição |
|---|---|---|---|---|
| Número de características | >=0 | Integer | 10 | Especificar o número de características a serem usadas com o recomendador (opcional) |
| Número de iterações de algoritmo de recomendação | >=1 | Integer | 5 | Especifique o número máximo de iterações a serem executadas ao treinar o modelo de recomendação (opcional) |
| Número de lotes de treinamento | >=1 | Integer | 4 | Especificar o número de lotes de treinamento a serem usados com o recomendador (opcional) |
Saídas
| Nome | Tipo | Descrição |
|---|---|---|
| Recomendador de Matchbox treinado | Interface ILearner | Recomendador de Matchbox treinado |
Exceções
| Exceção | Descrição |
|---|---|
| Erro 0022 | Ocorrerá uma exceção se o número de colunas selecionadas no conjunto de dados de entrada não for igual ao número esperado. |
| Erro 0036 | Ocorrerá uma exceção se vários vetores do recurso forem fornecidos para um determinado usuário ou item. |
| Erro 0018 | Ocorrerá uma exceção se o conjunto de dados de entrada não for válido. |
| Erro 0035 | Ocorrerá uma exceção se nenhum recurso for fornecido por um determinado usuário ou item. |
| Erro 0034 | Ocorrerá uma exceção se houver mais de uma classificação para um determinado par usuário-item. |
| Erro 0053 | Ocorrerá uma exceção no caso de não haver nenhum recurso ou item de usuário para recomendações de Matchbox. |
| Erro 0003 | Ocorrerá uma exceção se uma ou mais das entradas for nula ou estiver vazia. |
Para ver uma lista de erros específicos dos módulos do Studio (clássico), consulte Machine Learning Códigos de erro.
Para ver uma lista de exceções de API, consulte Machine Learning códigos de erro da API REST.
Confira também
Modelo de validação cruzada
Avaliar o Sistema de Recomendação
Treinamento
Classificar recomendador Matchbox