Personalização para transferência de aprendizado
Este artigo fornece um exemplo de como fazer a definição de recursos para transferência de aprendizado usando UDFs do Pandas.
Definição de recursos para transferência de aprendizado em modelos de DL
O Azure Databricks dá suporte à personalização com modelos de aprendizado profundo. Modelos de aprendizado profundo pré-treinados podem ser usados para computar recursos para uso em outros modelos de downstream. O Azure Databricks dá suporte à personalização em escala, distribuindo a computação em um cluster. É possível realizar a definição de recursos com as bibliotecas de aprendizado profundo incluídas no Databricks Runtime ML, incluindo o TensorFlow e o PyTorch.
O Azure Databricks também dá suporte a aprendizado de transferência, uma técnica bastante relacionada à personalização. O aprendizado de transferência permite que você reutilize o conhecimento de um domínio com problema em um domínio relacionado. A personalização é, em si, um método simples e poderoso para aprendizado de transferência: os recursos de computação que usam um modelo de aprendizado profundo pré-treinado transferem o conhecimento sobre os bons recursos do domínio original.
Etapas para computar recursos para transferência de aprendizado
Este artigo demonstra como calcular recursos para a transferência de aprendizado usando um modelo do TensorFlow previamente treinado por meio do seguinte fluxo de trabalho:
- Comece com um modelo de aprendizado profundo previamente treinado, neste caso, um modelo de classificação de imagem de
tensorflow.keras.applications. - Trunque as últimas camadas do modelo. O modelo modificado produz um tensor de recursos como saída, em vez de uma previsão.
- Aplique esse modelo a um novo conjunto de dados de imagem de um domínio de problema diferente, calculando os recursos para as imagens.
- Use esses recursos para treinar um novo modelo. O notebook a seguir omite essa etapa final. Para obter exemplos de treinamento de um modelo simples, como regressão logística, confira Treinar modelos de IA e ML.
Exemplo: usar UDFs do Pandas para personalização
O notebook a seguir usa UDFs do Pandas para executar a etapa de definição de recursos. As UDFs do Pandas e as novas UDFs variantes do Pandas de iterador escalar oferecem APIs flexíveis, dão suporte a qualquer biblioteca de aprendizado profundo e proporcionam um alto desempenho.