Exercício – Pontuar o modelo de machine learning que prevê o sucesso do lançamento de foguete
Fazer uma comparação simples do percentual de dados que resultou em um lançamento de Y é útil para verificar se o modelo está quase correto, mas ainda mais útil para de fato conferir uma pontuação ao modelo.
Pontuar o modelo
Assim como acontece em um exame, você pode medir o aprendizado com uma pontuação. É possível executar a chamada a uma função de linha única para conferir se o modelo foi adequado ao prever a realização de um lançamento.
# Calculate accuracy
tree_model.score(X_test,y_test)
Usando a função score(), você passa os dados de entrada X_test e os dados de saída y_test para "classificar" o modelo. Quanto maior a pontuação, mais preciso será o nosso modelo ao prever o resultado de um lançamento de foguete com base em dados meteorológicos.
Entender a pontuação
Neste exemplo, o modelo tem uma precisão adequada de 98,3%. Na verdade, considerando a limpeza e manipulação limitadas que executamos e os problemas conhecidos dos dados, isso está parecendo bom demais para ser verdade.
É possível que nosso modelo tenha sido treinado de modo apropriado para ser bastante preciso e que tenhamos os dados mais adequados. Pode ser que esse índice de precisão signifique que somos bons em especular sobre esses dados parcialmente fabricados e, portanto, essa pontuação não seria confiável no mundo real. Para fins de contexto, é comum obter 70% de precisão com um classificador de árvore de decisão (durante a primeira execução dele).
Como é possível garantir que a pontuação seja uma representação exata da precisão do modelo?
Uma das maneiras seria pedir a um especialista para preencher os dados Y e N para as datas de não lançamento, em vez de apenas adivinhar N. Por exemplo, a probabilidade do dia logo antes ou logo após um lançamento também ser um bom dia para lançar é provavelmente maior do que representamos nesses dados.