Clasificación de preguntas de clientes

Bueno, ya ¡dame la data!

training.csv

test.csv

primer_submit.csv

Descripción

Se disponen de tres datasets:

1. training.csv: reúne la información del caso, el mismo tiene dos columnas

• Pregunta: pregunta realizada por el cliente. (String)

• Intención: intención de la pregunta realizada, contiene 350 intenciones aproximadamente. (String)

1. test.csv: solo contiene la pregunta realizada por el cliente.

2. primer_submit.csv: este archivo tiene el formato en el que se deben enviar las predicciones.

Evaluación

La evaluación consta de dos partes:

1 - Score de predicciones: los resultados serán medidos utilizando la métrica Balance Accuracy. En el leaderboard se puede ver el mejor score público del total de submits de cada participante. El mismo se calcula con una porción de los datos de test. Metadata se reserva el score privado para la evaluación final.

El archivo con predicciones que se debe submitear debe esta en formato csv sin encabezado y debe contar de dos columnas. La primer columna corresponde al 'id' de la pregunta hecha por el cliente en el archivo de test. La segunda a la categoría predicha en formato de entero, es decir, si la predicción es cat_101 (string) debe reportar solamente 101 (int). Para ver un ejemplo puede mirar el archivo primer_submit en las solapa Datos.

2 - Informe: Al finalizar la competencia se pedirá a los primeros 10 competidores en el ranking de predicciones un informe adicional, donde se explique el modelo y la metodología aplicada. La nota la otorgará un jurado ad-hoc de especialistas en el tema evaluando el informe sobre el trabajo realizado con el análisis de contrastación entre los datos reales y los datos generados por los modelos.

Finalmente, el score total que determinará los ganadores se compondrá en un 70% por el score privado conseguido con la predicción medida con la métrica especificada y el 30% restante se sumará con el informe.

Importante: tanto Santander como Metadata se reservan el derecho a pedir el código para poder evaluar el modelo y evitar soluciones tramposas. En caso de que se le requiera el código a un participante y no lo envíe, será descalificado de forma inmediata.

Informe

Los primeros 10 participantes en el ranking deben entregar un informe para definir los ganadores. El período para entregar el informe es del 11/7/2020 al 17/7/2020 (inclusive). Se debe enviar un mail a metadata@fundacionsadosky.org.ar que contenga:

• Encabezado: competencia SANTANDER 2020 informe.
• Un archivo adjunto con el informe. El nombre del archivo debe ser su nombre de usuario, por ejemplo "datosky.zip". En caso de necesitar mandar más de un archivo utilizar algún sistema de compresión.
• En el cuerpo del mail pueden escribir lo que gusten, aunque si quieren expresar alguna cuestión relacionada al informe ponerlo en el informe o crear un archivo "readme.txt".

Por favor les pedimos que respeten el formato

Guía

Pueden entregar el informe en el formato que gusten. Es obligatorio entregar el código que valide su solución. A continuación les dejamos una guía que seguramente los ayudará a sumar más puntos:

De más deseable a menos deseable:

• Notebook (Jupyter).
• PDF.

Contenido

• Descripción del proceso, desde que ingresan hasta que salen los datos (¿Se hizo limpieza de datos?, ¿En base a qué?, ¿Qué usaron?, etc).
• Principales hallazgos del proceso analítico
• Algoritmos utilizados y ¿Por qué la elección de los mismos?
• ¿Qué métodos utilizaron para lograr la mejor selección de hyperparametros?
• Próximos pasos / posibles mejoras / si hubieras tenido más tiempo/recursos, ¿Qué hubieras hecho diferente?
• ¿Qué valor agrega tu solución?