Tarea 3: Training set para preprocesamiento

[furcelay]

Hola!

Recién estoy comenzando con la tarea y me he dado cuenta de que el preprocesamiento también requiere un training set para definir como es la conversión de palabras a vectores. Como todos los sets requieren este preprocesamiento, mi duda es:

• ¿Debo crear un nuevo set dedicado a esto?
• ¿Podría usar los datos de este set de preprocesamiento para lo que sigue (entrenamiento del modelo) o los debo descartar después de eso?

Gracias!

[Juan-AAS]

Como lo hablamos en la ayudantía, puedes usar un porcentaje del dataset para realizar este entrenamiento para las codificaciones o usar todo el dataset. Puedes también, hacer una selección de usar como entrenamiento aquellos textos más largos para asegurarse de tener un buen vocabulario (se me acaba de ocurrir esta idea, puedes ir probando).

y sí, puedes definir en un principio la division del dataset y tu set de entrenamiento lo puedes usar para la codificación y luego para entrenar el modelo.