Test de NLP: cómo evaluar perfiles de lenguaje

Un test de NLP hoy tiene que medir algo distinto a lo que medía hace unos años. Buena parte del trabajo que antes requería construir modelos especializados desde cero ahora se apoya en modelos de lenguaje ya entrenados, y eso cambia qué habilidades importan más al evaluar a un candidato.

Qué evalúa un test de NLP hoy

Un test de NLP actual debería medir cuatro cosas: fundamentos de cómo se representa y procesa texto, criterio para decidir cuándo usar un modelo de lenguaje general existente frente a entrenar o ajustar un modelo específico, capacidad de evaluar la calidad de resultados de forma sistemática, y comprensión de las limitaciones de los enfoques actuales, como sesgos en los datos o comportamiento inconsistente frente a entradas fuera de lo esperado.

La proporción entre estas cuatro áreas depende del rol: alguien enfocado en investigación de NLP necesita profundidad mayor en fundamentos, mientras que alguien enfocado en aplicar NLP a un producto necesita más criterio práctico de evaluación e integración.

Fundamentos vs uso de LLMs

Vale la pena ser honesto sobre esta tensión: dominar los fundamentos clásicos de NLP, como técnicas de representación de texto anteriores a los modelos de lenguaje grandes, sigue teniendo valor para entender por qué ciertos enfoques funcionan, pero ya no es suficiente por sí solo para la mayoría de los roles aplicados actuales.

Un candidato con buen nivel hoy debería poder explicar cuándo un problema de NLP se resuelve mejor con un modelo de lenguaje general, usado con la instrucción correcta, y cuándo conviene un enfoque más especializado o un modelo ajustado específicamente para la tarea, considerando costo, latencia y precisión requerida.

Caso práctico con datos

Entrega un conjunto pequeño de textos reales, como reseñas de producto o mensajes de soporte, y pide al candidato que diseñe un enfoque para clasificarlos automáticamente según una categoría relevante de negocio, como sentimiento o urgencia.

Pide que explique tres cosas: qué enfoque usaría y por qué, cómo mediría si el resultado es suficientemente bueno para usarse en producción, y qué haría si detectara que el enfoque falla de forma sistemática con cierto tipo de texto, por ejemplo mensajes muy cortos o con errores ortográficos frecuentes.

Criterios de corrección

Evalúa con cuatro criterios: si el enfoque propuesto es razonable para el problema y el volumen de datos esperado, si el método de evaluación de calidad es sistemático y no solo una revisión manual superficial, si identifica casos límite relevantes sin que se los señalen explícitamente, y si puede explicar con claridad las limitaciones de su propio enfoque.

Presta atención especial a si el candidato menciona sesgos posibles en los datos o en el modelo. Alguien con buen criterio entiende que un sistema de NLP entrenado o instruido con datos poco representativos puede fallar de forma sistemática con ciertos grupos de usuarios o tipos de lenguaje, y considera esto parte de una buena solución, no un detalle secundario.

Para ver cómo evaluar perfiles de machine learning más generales, incluyendo cómo se ponen modelos en producción de forma confiable, en evaluación de machine learning está la guía de qué medir por rol. Las preguntas de la conversación técnica están en entrevista técnica de IA, y el ejercicio de código en test de Python.

Un test de NLP que pesa fundamentos y uso de modelos ya entrenados en la proporción que pide el rol da una señal mucho más limpia. Si quieres definir esa proporción para tus vacantes, puedes agendar una demo.

Preguntas frecuentes

¿Sigue siendo relevante evaluar fundamentos clásicos de NLP si hoy se usan tanto los modelos de lenguaje generales?
Sí, en la medida en que ayudan a entender por qué un enfoque funciona o falla, y a tomar mejores decisiones cuando un modelo de lenguaje general no es la opción más eficiente o precisa para un caso específico.

¿Debo permitir el uso de herramientas de IA durante este ejercicio?
Sí, tiene sentido permitirlo, ya que refleja cómo se trabaja realmente hoy. El foco de la evaluación debería estar en el criterio de diseño y evaluación, no en si el candidato memoriza técnicas específicas.

¿Cómo evalúo el manejo de idiomas distintos al inglés, relevante para México y Argentina?
Pregunta explícitamente cómo el enfoque propuesto se comportaría con texto en español, incluyendo variantes regionales y modismos locales, un área donde muchos sistemas entrenados principalmente en inglés muestran más errores.

¿Qué tan importante es la experiencia previa con un dominio específico, como texto legal o médico?
Aporta valor si el rol lo requiere, pero el criterio general de diseño y evaluación suele ser más transferible entre dominios que el conocimiento específico de un área, que se puede adquirir con el tiempo.