Evaluación
La métrica que se usará para evaluar será el mean absolute error (MAE) sobre las predicciones realizadas.
Las respuestas de los participantes deberán ser archivos .csv con la proyección de pagos para los préstamos activos estimando el pago de principal para cada fecha.
Para esto, deberán predecir el pago efectivo a principal para cada uno de los créditos correspondiente a las operaciones de la empresa en el país de Naboo en la base de datos para los siguientes seis meses.
Las columnas deberían ser (en el CSV a entregar no debe figurar el nombre de las columnas, ie, al exportar el CSV, hacerlo con header=False):
PaymentCode, PaymentPrincipal
022102049402357, 0.0
00201030668519, 2140.83
002011249339435, 74.33
002104209148631, 57.01
00210607131505, 0.0
002104099375486, 372.23
002007149136519, 0.0
002009159172196, 139.52
002010289414965, 25.07
La columna PaymentCode es un identificador único compuesto de la siguiente manera:
0PAAMMDDXXXXXX
P: PaymentTypeId
AAMMDD: Año (2 últimos dígitos), Mes (2 dígitos), Día (2 dígitos)
XXXXXX: LoanId (todos los dígitos necesarios)
No todos los préstamos tienen la misma cantidad de fechas de pago en el periodo de seis meses siguiente.
El archivo .csv, loan_payments_dataset_scoring.csv contiene todas las entradas que son necesarias predecir.
Sobre todas las predicciones, se reportará el MAE promedio de entre todos los MAE obtenidos para cada crédito. El jurado podrá requerir reproducir el puntaje correspondiente al último intento registrado en la competencia. Los créditos indexados por otros (D-Indexed) podrán ser considerados de manera diferencial respecto a los créditos en control directo de Hopp (Type “Base”).
Las soluciones finales se deberán desarrollar de forma obligatoria en la plataforma Google Colaboratory. Cada notebook deberá tomar como entrada los archivos antes mencionados y generar un archivo de nombre ‘predicciones.csv’ con las predicciones.
Para la presentación final, cada notebook deberá contener comentarios sobre el procedimiento y los participantes deben explicar qué tratamiento hicieron de los datos y qué decisiones tomaron para el modelado, utilizando gráficas donde sea necesario. La calificación final de la competencia está dada en un 65% por el resultado obtenido y en un 35% por la presentación y detalle de la notebook. Se leerán todos los informes presentados, incluso aquellos con bajo puntaje en la clasificación. ¡A no desalentarse!
¡Acordate que tenés hasta las 23.59 del 22 de Julio para tener todo enviado y participar por los premios!
Es sencillo, después de submitir tus resultados en la página, tenés que armar tu caso, crear un archivo .zip con todos los archivos y enviarla a metadata@fundacionsadosky.org.ar usando solo tu nombre de usuario como identificador. Una vez enviados los archivos por mail, escribinos en el canal #entregas de Slack para informar que hiciste el envío. ¡Cada parte suma al puntaje y es necesario tener todo para calificar! Cualquier duda que tengas, podes canalizarla en el chat general. ¡A seguir adelante!
Cualquier consulta se atenderá por el canal de Slack.
Si ya te inscribiste en la competencia, ¡sumate a nuestro workshop virtual para sacarte todas la dudas! Te esperamos el miércoles 6 de julio de 17 a 19 hs, ¡inscribite acá!
Al enviar una solución acepta que puedan usarse sus datos de contacto por parte de la organización.
Premios
