Spanish (pdf)
Article in xml format
Automatic translation
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
1. INTRODUCCIÓN
El presente estudio se enmarca en la Lingüística Aplicada a la enseñanza de español como lengua extranjera, para abordar, desde una perspectiva de la interlengua, la evaluación como una parte integral de la enseñanza-aprendizaje de una lengua extranjera o segunda lengua2. En otras palabras, la idea de evaluación que plantea este trabajo trasciende la calificación como el simple hecho de poner una nota determinada al trabajo de un estudiante.
La evaluación ha sido poco estudiada, si bien es una herramienta clave para fortalecer y guiar el aprendizaje, en cuanto retroalimentación constante para el aprendiz y para su profesor. Aún es necesario saber en base a qué criterios los profesores diseñan y realizan sus evaluaciones; cuáles son las herramientas más utilizadas para evaluar determinados aspectos de la enseñanza-aprendizaje; qué medidas toman los profesores para evaluar en situaciones multiculturales; o qué hacen los distintos actores involucrados con la evidencia obtenida por medio de la evaluación, por ejemplo. La relevancia de estas preguntas reside en que “la evaluación no es un ámbito de reflexión independiente del currículum; es también currículum” (Rodríguez 2002: 193); no se puede enseñar ni aprender sin evaluar, porque la evaluación consiste precisamente en “demostrar el dominio del estudiante de una porción del currículum” (Butler y McNunn 2006: 5).
En esta investigación la evaluación aborda dos contenidos diferentes: el español como lengua extranjera entre estudiantes secundarios haitianos, por una parte, y los contenidos disciplinares asociados al curso de Lengua y Literatura (Lenguaje) en la enseñanza secundaria chilena, por otra. En este contexto, se examina de qué manera evalúan los profesores de Lenguaje a sus estudiantes haitianos en la educación pública chilena, sin que estos últimos hayan tenido clases formales de español como ayuda para su mejor inmersión escolar. Para esto, observamos el proceso y el producto de la evaluación sobre la producción escrita en español de estudiantes haitianos por parte de sus propios profesores de Lenguaje y de profesores de Lenguaje externos (de establecimientos educacionales ajenos a los estudiantes con los que trabajamos). Contrastamos estas evaluaciones internas y externas entre sí, y luego las cotejamos con las evaluaciones de producciones escritas en creole como lengua materna, revisadas y evaluadas por un profesor haitiano, hablante nativo de creole.
A la fecha, existen pocos estudios sobre la manera en que los profesores evalúan a sus estudiantes hablantes no nativos, pero entre los trabajos existentes el foco está en la percepción y/o reflexión acerca de las evaluaciones. Frey y Fisher (2003) reflexionan acerca de la adaptación de sus procesos de evaluación del desempeño de estudiantes en una escuela multicultural en California, Estados Unidos. Sus análisis muestran cómo esta adaptación desafía la “teoría del déficit” (relación entre el estatus socioeconómico de los estudiantes y sus estrategias de comunicación empobrecidas) y con ello se logra un desempeño equivalente al de los hablantes nativos, mediante evaluaciones informales constantes. Los resultados no solo contribuyeron a buenas prácticas en sus salas de clases, sino que influyeron en el sistema de desarrollo profesional de su escuela. En un trabajo de 2014, Lizasoain y Ortiz de Zárate dan cuenta de la percepción que tienen estudiantes de pedagogía en inglés de una universidad chilena acerca de la manera en que se evalúa su habilidad de producción oral. Este estudio reporta que los estudiantes perciben las mediciones como válidas -en cuanto miden lo que declaran medir- pero poco confiables, por la falta de objetividad que demuestran los profesores. Por su parte, López y Bernal (2009) examinan las percepciones que tienen profesores de lengua colombianos sobre cómo utilizan la evaluación en el aula, y descubren que quienes habían recibido una formación en evaluación -a diferencia de los que no lo habían hecho- percibían esta como un aspecto del aprendizaje.
En el contexto específico de la enseñanza-aprendizaje de una lengua extranjera, la evaluación se utiliza para sacar conclusiones acerca de las capacidades de los estudiantes y para tomar decisiones pedagógicas con base en estas conclusiones. Es de vital importancia, por ende, conocer las prácticas evaluativas de los profesores, pero además reflexionar sobre el mejor rumbo que puede tomar la evaluación en la escuela, con el objeto de que contribuya efectivamente al aprendizaje.
Considerando lo anterior, el objetivo principal de este trabajo es conocer cómo evalúan los profesores de Lenguaje a sus estudiantes secundarios haitianos en su producción escrita. Secundariamente, buscamos determinar en qué aspectos se centran los profesores cuando evalúan textos escritos por estudiantes haitianos y chilenos; si existen diferencias en las evaluaciones realizadas a uno y a otro grupo; y qué tipo de retroalimentación les entregan a sus estudiantes.
La asignatura de Lengua y Literatura corresponde a una disciplina del currículo escolar chileno cuyo “objetivo es que los alumnos adquieran las habilidades comunicativas [ en español] que son indispensables para desenvolverse en el mundo y para integrarse en una sociedad democrática de manera activa e informada” (Ministerio de Educación 2019: en línea). Ningún objetivo de esta asignatura contempla una dimensión que promueva el desarrollo de estas habilidades comunicativas en aprendientes de español como lengua extranjera, lo que facilitaría su integración. Al mismo tiempo, la formación de los docentes de esta disciplina no incluye esta competencia, por lo que no parece aventurado asumir que los profesores en Chile no están preparados para evaluar el proceso de interlengua de los aprendientes haitianos de español como lengua extranjera.
2. MARCO TEÓRICO
2.1. Evaluación
La evaluación es clave en la escuela por múltiples razones: permite determinar si los estudiantes han adquirido los conocimientos específicos de una asignatura, identificar debilidades que debieran subsanarse, otorgar un panorama global de las estrategias y metodologías pedagógicas utilizadas en el aula y entregar la sensación de una etapa cumplida, entre otros. En contextos de adquisición de una lengua extranjera, la evaluación permite observar si los aprendientes han adquirido los recursos de la lengua que le permitan desenvolverse en situaciones de comunicación acordes a los niveles de competencia comunicativa esperados (Lizasoain y Ortiz de Zarate 2014). En el entorno de nuestro análisis, en el que los estudiantes haitianos no reciben clases formales de español y en el que se espera que sean los profesores de Lenguaje quienes los ayuden a adquirir esta lengua -en clases de más de 40 personas- la evaluación como apoyo para la enseñanza-aprendizaje del español es un desafío considerable. Dado que la evaluación no se aborda ni parece valorarse como parte del proceso de enseñanza-aprendizaje, se la relega a un segundo plano, provocando que esta sea el fenómeno más arbitrario y subjetivo que tenga lugar en el aula (Gathercoal 1995).
En el contexto de esta investigación, la arbitrariedad evaluativa se debe a que los profesores involucrados no están preparados para crear ni para aplicar herramientas de evaluación que, además de cubrir contenidos disciplinares, contemplen el análisis del desarrollo del español como lengua extranjera. Esta situación puede conducir al diseño y a la administración de herramientas poco efectivas y deficientes, lo que es pernicioso si se considera que la evaluación incide en la decisión del futuro de un estudiante, permitiéndole o no pasar de curso, ingresar a la universidad, obtener un trabajo, acceder una beca o ganar un premio (Richard-Amato 2010; Brown 2004; McNamara 2004). En un aula multicultural, los buenos resultados pueden favorecer la inmersión de los estudiantes extranjeros y enriquecer los conocimientos de todos sus actores. Pero estos buenos resultados no radican en las notas o las cifras de pruebas estandarizadas, sino en la aplicación de evaluaciones que resulten útiles en el proceso de enseñanza-aprendizaje; evaluaciones de procesos beneficiosos y no de resultados.
Con respecto al diseño de evaluaciones útiles, se debe hacer una distinción entre evaluación del aprendizaje y evaluación para el aprendizaje (Baird et al. 2017; Butler y McMunn 2006). La evaluación del aprendizaje mide lo que los estudiantes han aprendido, para cumplir con el deber institucionalizado de reportar resultados, generalmente traducidos en notas. La evaluación para el aprendizaje, por el contrario, tiene un impacto en la enseñanza-aprendizaje, y contribuye a la toma de decisiones tanto de los profesores como de los estudiantes, para mejorar sus prácticas.
En este trabajo se entenderá la evaluación como la valoración del desempeño de un estudiante con respecto a un resultado de aprendizaje, con el fin de 1) conocer cuánto sabe y qué puede hacer con lo que sabe (evaluación del aprendizaje); y 2) influir en el desarrollo de la interlengua creole-español (evaluación para el aprendizaje). El segundo punto solo es posible si se comprende que el aprendizaje debería ser central en el proceso de evaluación; en otras palabras, la relación entre la enseñanza-aprendizaje y la evaluación debiera ser una relación de “amistad” (Hughes 2010).
Para que la valoración del desempeño de un estudiante sea efectiva y eficiente, la literatura plantea que las herramientas de evaluación deben cumplir con al menos cinco principios: validez, confiabilidad, practicidad, autenticidad e impacto (Villarroel et al. 2018; Baird et al. 2017; Lizasoain y Ortiz de Zárate 2014; Hughes 2010; Richard-Amato 2010; Butler y McMunn 2006; Brown 2004; Kubiszyn y Borich 1999).
2.2. Principios de evaluación
La validez de la evaluación se relaciona con que esta logre medir el dominio de contenidos o habilidades, por una parte, y con que estos se midan según la manera en que se ha trabajado en el aula, por otra. Se puede determinar si una evaluación es válida analizando evidencia relacionada con los contenidos y con constructos. La evidencia relacionada con contenidos permite decidir si se está evaluando lo que se enseñó; es decir, si el currículum está vinculado con los resultados esperados (Butler y McNunn 2006). Si se quiere evaluar la utilización de tiempos verbales referentes al pasado en un grupo de estudiantes de nivel básico, por ejemplo, no debieran considerarse los tiempos verbales futuros, sin haber sido revisados antes. Esto se conoce como validez de contenido. Por otro lado, la evidencia relacionada con constructos dice relación con evaluar de una manera acorde con cómo se ha enseñado. Por ejemplo, si los tiempos verbales se han revisado mediante instrucción implícita en situaciones que emulan la comunicación cotidiana, estos no debieran evaluarse mediante actividades que impliquen metalenguaje. En resumen, una prueba es válida cuando promueve el aprendizaje, porque se está evaluando lo que se ha aprendido.
La confiabilidad, por otra parte, asegura que una evaluación arroje resultados consistentes en diferentes ocasiones. Este principio se ve afectado por cuatro factores: los estudiantes, los evaluadores, las condiciones de administración de la evaluación y la evaluación en sí. La confiabilidad relacionada con los estudiantes se vincula con el estado emocional y sicológico de estos en diferentes momentos de evaluación; es decir, un mismo estudiante puede obtener resultados distintos dependiendo de las circunstancias en que rinda la evaluación. Consideremos brevemente las circunstancias de un adolescente inserto en una comunidad cuya lengua desconoce, comunidad que a su vez desconoce su lengua y su cultura maternas, su etnia y su modo de vida; el caso de los secundarios haitianos. La confiabilidad del evaluador tiene que ver con la subjetividad y el sesgo, que podrían inducir a error. Así, por ejemplo, el mismo evaluador puede considerar un mismo ítem con diferentes criterios, dependiendo de la hora del día o de si le agrada o no un estudiante. Tanto los estudiantes como los profesores pueden estar bajo los efectos de la fatiga o de una enfermedad, que pudieran afectar los resultados. Consideremos a un profesor de escuela pública que debe evaluar cientos de trabajos mes a mes, en un espacio reducido de tiempo y con escasos recursos de todo tipo. La confiabilidad de la administración de la evaluación se relaciona con las condiciones bajo las cuales se administra, es decir, vinculadas al tiempo, la temperatura y las distracciones a las que pudiera verse enfrentado un estudiante, por ejemplo. Idealmente, los estudiantes deberían experimentar las mismas condiciones para que los resultados sean confiables, pero si el conocimiento de la lengua es una de esas condiciones, como en el caso de nuestro estudio, la confiabilidad no estaría garantizada. La confiabilidad, relacionada con la evaluación en sí, se refiere al diseño de esta: que los estudiantes puedan leer las instrucciones claramente porque el tamaño de la letra y la calidad de la tinta son apropiados, por ejemplo, o que las preguntas o instrucciones estén planteadas de manera clara, sucinta y completa, lo cual merece más de una revisión por parte de quien/es desarrollan el instrumento evaluativo.
La practicidad de una evaluación tiene que ver con que una prueba no sea costosa, se pueda realizar en lapsos razonables, sea de fácil administración y contemple un sistema de evaluación claro y eficiente en términos de tiempo, lo cual debe preverse antes de aplicar la prueba. En ocasiones, los profesores diseñamos evaluaciones que contemplan la redacción de informes muy extensos, con criterios de evaluación subjetivos, que nos toman mucho tiempo para evaluar. En esos casos, las herramientas no son prácticas.
Los principios de validez, confiabilidad y practicidad son responsables de la evaluación del aprendizaje, porque permiten al profesor evaluar lo que se ha aprendido de manera objetiva y práctica.
La autenticidad de una evaluación se relaciona con su grado de correlación con la realidad. En la medida que la evaluación incluya tareas que un aprendiente encontraría en contextos comunicacionales reales, se puede decir que es auténtica. Lo anterior significa que el lenguaje de la herramienta debe ser lo más natural posible, sin incluir expresiones a las que los aprendientes no han estado expuestos antes. Los ítems deben estar contextualizados y sus instrucciones deben ser claras. Además, los temas deben ser significativos para los aprendientes, para que luego puedan replicarlos en otras situaciones comunicativas. En nuestro estudio, percibimos un esfuerzo por parte de los profesores de escuela para motivar a los estudiantes con temas relacionados con la inmigración, dado que una de las escuelas en que trabajamos cuenta con un número importante de inmigrantes, especialmente haitianos. A pesar de esta buena intención, la carencia de herramientas lingüísticas por parte de quienes no hablan la lengua de la comunidad de acogida hace muy difícil la expresión de sus ideas en todo su potencial, lo que deja a estos estudiantes, nuevamente, en desventaja respecto a los hablantes nativos.
Finalmente, el impacto (en inglés, washback) de una evaluación se refiere al efecto que esta tiene sobre la enseñanza-aprendizaje. Se trata de información útil sobre las debilidades y fortalezas en la enseñanza del docente, así como del aprendizaje del estudiante. Una evaluación con impacto positivo es una herramienta más de aprendizaje, en la que el aprendiente pone a prueba sus conocimientos y recibe retroalimentación acerca de su desempeño. El impacto puede tomar la forma de una letra, un número, un puntaje, una indicación de que algo está in/correcto, un comentario, etc. (Brown 2004). Independientemente del medio a través del cual se genere el impacto, se debe tener en cuenta que “una buena evaluación debe estar diseñada de tal forma que los estudiantes, al rendirla, aprendan y se comprometan con su proceso educativo, permitiéndoles aplicar lo aprendido para resolver algún problema” (Villarroel et al. 2018: 47). Lo contrario solo conduciría a un aprendizaje superficial y a la adquisición de conocimientos desconectados (Baird et al. 2017). En este sentido, una nota o puntaje sin información adicional -o retroalimentación- puede no tener impacto alguno, puesto que no permite al estudiante saber en qué tiene que enfocarse específicamente para mejorar una debilidad. Cumplir con este principio es de gran importancia, porque promueve la motivación, la autonomía y la autoconfianza entre los estudiantes (Brown 2004; Kubiszyn y Borich 2000), todas características primordiales para el desarrollo de la lengua extranjera y del estudiante como individuo. Para que sea efectiva, la retroalimentación debe ser clara, precisa y oportuna (Butler y McNunn 2006). Valga advertir que evaluar no es lo mismo que calificar o medir, ya que, si el aula se transforma en un espacio en que solo se enseña para aprobar evaluaciones, se pierde el foco en el proceso de enseñanza-aprendizaje. Esto ocurre con las pruebas estandarizadas institucionalizadas que miden conocimientos de escolares en el nivel nacional o internacional (Baird et al. 2017; Brown 2004), cuyo aporte en términos didácticos es debatible, por decir lo menos. En este sentido, el impacto y la autenticidad contribuyen a la evaluación para el aprendizaje, porque cuando la evaluación se transforma en una experiencia de aprendizaje, logra su impacto más positivo.
En el contexto de enseñanza-aprendizaje de una lengua extranjera, se evalúa el desempeño comunicativo de los aprendientes en cuatro habilidades: comprensión auditiva y lectora; y producción oral y escrita. En este trabajo nos enfocamos en la evaluación de la producción escrita, puesto que esta habilidad permite observar directamente el desarrollo de interlengua de un aprendiente, facilita la evaluación por parte de los profesores que participan en el estudio y, gracias a un mayor tiempo para la planificación por parte de los estudiantes, permite un acceso más amplio a la competencia lingüística de estos.
2.3. Evaluación de la producción escrita
La producción escrita se puede evaluar directa o indirectamente (Coombe, Folse y Hubley 2007). Las mediciones indirectas evalúan la construcción de oraciones concentrándose en la gramática, la ortografía y la puntuación; es decir, examinan la habilidad de construir oraciones correctas desde el punto de vista formal y están más enfocadas en la corrección que en la fluidez y coherencia de un escrito. Se asume que si los estudiantes tienen un buen desempeño en esta modalidad pueden escribir textos más largos con eficiencia. Por el contrario, las mediciones directas evalúan la habilidad del estudiante de comunicarse en el modo escrito, basado en la producción integral de un texto. En otras palabras, las mediciones directas integran todos los elementos de la escritura: la selección del contenido, la organización de las ideas, la selección de vocabulario apropiado y la utilización de las convenciones gramaticales adecuadas al contexto. Esto implica que la evaluación directa tiene que ser lo más auténtica posible (Hughes 2010).
Una manera de integrar mediciones directas e indirectas en una misma evaluación es utilizar pautas o rúbricas. Una pauta es un conjunto de criterios según los cuales se puede evaluar una habilidad o competencia desplegada en un trabajo escrito, por ejemplo. Es importante establecer los criterios con los que se evaluará un texto de antemano; de lo contario, estos pueden variar después de evaluar una cierta cantidad de textos, debido a factores como distracciones, la fatiga o el estado de ánimo (Kubiszyn y Borich 2000), que pueden atentar contra el principio de confiabilidad. Al respecto, utilizar una pauta contribuye al cumplimiento del principio de practicidad, ya que alivianan las restricciones de tiempo que tienen las agitadas agendas de los profesores (Brown 2004). Además, las pautas presentan tres ventajas: garantizan un equilibrio entre los criterios evaluados, obligan a los evaluadores a fijarse en dimensiones que quizás de otra manera pasarían por alto y contribuyen a la confiabilidad de la evaluación (Kubiszyn y Borich 2000). Los textos también se pueden evaluar holísticamente, en base a una impresión general, pero esto le resta confiabilidad a la evaluación (Hughes 2010).
Para nuestro estudio, elaboramos una pauta de evaluación que contempla criterios de corrección, adecuación, complejidad léxica, complejidad analítica, organización y fluidez. Estos elementos pueden dar cuenta de la calidad de la comunicación de los hablantes y se integran en un solo instrumento que permite evaluar de forma directa e indirecta a la vez.
2.4. La evaluación de la interlengua
La evaluación de los ámbitos de corrección, adecuación, complejidad léxica y analítica, organización y fluidez de textos escritos en una lengua extranjera no son válidos para cualquier individuo. La evaluación dependerá de la interlengua del estudiante, lo que, a su vez, respetará el principio evaluativo de la validez; en otras palabras, no se puede exigir que un estudiante de nivel intermedio básico (B1) escriba igual que otro de nivel avanzado (C1)3 o como un hablante nativo, ni que un estudiante cuya lengua materna es el francés escriba igual que otro cuya lengua materna es el español. En efecto, el Instituto Cervantes (2014) considera criterios diferentes para la evaluación de la producción escrita en los distintos niveles. En la Tabla 1, ejemplificamos esto con los descriptores óptimos para la expresión escrita de los niveles A1 (inicial) y C1 (avanzado). Como es de esperar, las tareas para uno y otro nivel son diferentes, pues consideran lo que es capaz de producir un aprendiente en cada estadio. Para el nivel A1 la primera tarea escrita consiste en completar un formulario, con campos de respuesta breve, en que se solicita información personal de carácter general y básico. La segunda tarea escrita consiste en redactar un texto epistolar (una postal, un correo electrónico, un mensaje o una carta breve), un anuncio o nota informativa. En ambas tareas la evaluación es solo holística (Instituto Cervantes 2014).
En el nivel C1, la tarea 1 consiste en redactar un texto expositivo o argumentativo, exponiendo las ideas principales de manera clara, detallada y bien estructurada, y respetando las convenciones y rasgos del género al que pertenezca. La tarea 2 consiste en redactar un texto formal, exponiendo los argumentos, las ideas principales, las secundarias y los detalles de manera clara, detallada y bien estructurada, y respetando las convenciones y rasgos del género al que pertenezca. La evaluación es holística y además analítica (Instituto Cervantes 2014).
Tabla 1 Descriptores para la evaluación de textos escritos en A1 y C1 (adaptada de Instituto Cervantes 2014)
Al evaluar un texto escrito por un aprendiente de lengua extranjera, el profesor debiera tener en consideración que está examinando una interlengua (Selinker 1972), es decir, un sistema de opciones lingüísticas intermedias entre la primera lengua y la lengua meta (usualmente una versión estándar o normativa de esta última). Este sistema es producto de las hipótesis que se plantea el aprendiente acerca de la lengua que necesita aprender, basadas en conocimientos acerca de su propia lengua, de la lengua extranjera, de las funciones comunicativas del lenguaje, de su conocimiento lingüístico general, y de su experiencia en el mundo (Brown 2007). Como es un sistema intermedio presenta errores, los que deben tomarse como indicadores de un proceso de descubrimiento esencial para el aprendizaje (Rodríguez 2002). Los errores, de hecho, son considerados como una evidencia del aprendizaje (Butler y McNunn 2006).
2.5. La evaluación de la escritura en una lengua extranjera y el conocimiento pedagógico del lenguaje
Una forma de asesorar y dar apoyo a los hablantes no nativos en aulas multilingües es que sus profesores -o al menos los de Lenguaje- sean capaces de rastrear su desarrollo en la lengua meta (Aalto y Tarnanen 2015; Bunch 2013; Mora 2000; Nieto 2000; Weigle 1999; Cumming 1986). Esto debiera ser parte de un conocimiento pedagógico del lenguaje (Aalto y Tarnanen 2015; Schulman 1987). Dicho conocimiento se concibe como el dominio del lenguaje disciplinar, en el contexto particular de una asignatura (Aalto y Tarnanen 2015; Bunch 2013). Una perspectiva más amplia -desde la cual se abordará este estudio- incluye la comprensión de los procesos de adquisición de LE, la concepción de la lengua como un recurso para el aprendizaje y como el objetivo de la enseñanza, y la habilidad de monitorear su uso por parte de los aprendientes (García 2008; Gibbons 2007). Esta perspectiva también implica que los profesores sean capaces de evaluar el desarrollo de la interlengua entre sus alumnos -paralelamente al conocimiento temático de cada asignatura- con atención a su progreso en la lengua meta en tanto medio de expresión discursivo y no en relación con elementos discretos. Aalto y Tarnanen (2015) señalan que aquellos profesores que cuentan con un entrenamiento en conocimiento pedagógico del lenguaje se esfuerzan para analizar el desempeño de sus aprendientes en un contexto más amplio que quienes no reciben esa preparación. En una línea similar, Weigle (1999) muestra que los evaluadores no experimentados en la enseñanza-aprendizaje de una LE son más severos en sus evaluaciones, lo que puede ser perjudicial para el desarrollo de una LE, porque puede frustrar a los aprendientes o quitarles la confianza necesaria para producir en su interlengua. La idea general es que los docentes sean capaces de distinguir entre bajo rendimiento asociado al tema de la clase o a razones multilingües o multiculturales. Por otra parte, para que los profesores tengan un acceso completo a la interlengua de sus estudiantes, es necesario que su evaluación no se limite a corregir elementos aislados de vocabulario o lenguaje descontextualizado (Robinson, 2005; Schleppegrell y O’ Hallaron, 2011).
3. METODOLOGÍA
Este trabajo es un estudio de caso que considera dos escuelas, en dos ciudades de Chile: una en Valdivia y otra en Santiago. La pregunta que guía nuestro estudio es cómo evalúan los profesores de Lenguaje el desarrollo de interlengua de sus estudiantes secundarios haitianos, en una instancia de producción escrita. Para contestar esta pregunta, observamos en qué aspectos del lenguaje se centran los profesores cuando evalúan textos escritos por estudiantes haitianos e hispanohablantes; si acaso existen diferencias en las evaluaciones realizadas a uno y a otro grupo; y cuál es la clase de retroalimentación que les entregan a los estudiantes, para contribuir, o no, al desarrollo de su competencia comunicativa.
Los participantes son, por una parte, un grupo de estudiantes secundarios haitianos y un grupo de estudiantes secundarios hispanohablantes (chilenos en su mayoría y nacionales de otros países hispanohablantes de Latinoamérica). Los dos grupos nos proporcionaron muestras escritas, correspondientes en su mayoría a pruebas de respuesta abierta de la asignatura de Lenguaje. Por otra parte, participaron profesores de Lenguaje internos (de las mismas escuelas de los estudiantes que proporcionaron las muestras); y profesores de Lenguaje externos (fuera de los establecimientos estudiados). Ambos evaluaron las producciones escritas en español por haitianos e hispanohablantes. Además, participó en este estudio un profesor hablante nativo de creole, que evaluó muestras escritas por los estudiantes haitianos en esta lengua.
En este trabajo examinamos la evaluación de la producción escrita de 29 estudiantes haitianos y 39 estudiantes hispanohablantes de I, II y IV año de secundaria, en dos establecimientos escolares del sistema público, por parte de tres profesores internos y cuatro profesores externos. Los estudiantes hispanohablantes fueron codificados como EC (estudiantes chilenos) y los haitianos como EH (estudiantes haitianos), y a cada uno se le asignó un número, para resguardar su anonimato. Cabe aclarar que en principio pensamos en estudiantes chilenos, pero en el camino nos encontramos con estudiantes de otras nacionalidades (venezolanos, peruanos y colombianos). Solicitamos muestras de estudiantes haitianos e hispanohablantes porque una de las formas de estudiar la interlengua es identificar las construcciones que muestran una desviación con respecto a la lengua meta. La comparación entre la producción de los estudiantes haitianos (interlengua en español) y los estudiantes hispanohablantes (español como lengua materna) puede evidenciar la etapa en que se encuentran los primeros en su desarrollo. En este sentido, la producción escrita de los hablantes nativos de español vendría a representar lo que significa un “buen trabajo” (Butler y McNunn 2006). Para completar el marco de estudio interlingüístico que abordamos en esta investigación, complementamos la información con una muestra escrita por los mismos estudiantes haitianos en su lengua materna; creole, de la que conseguimos 13 escritos.
Para realizar la comparación entre la evaluación de profesores internos y externos, pedimos muestras de textos escritos por estudiantes haitianos e hispanohablantes de enseñanza secundaria, ya evaluados por sus profesores. Por otra parte, diseñamos una pauta que incluye criterios de evaluación de corrección, adecuación, complejidad léxica, complejidad analítica, organización y fluidez de textos escritos, que los profesores externos aplicaron para evaluar los textos integralmente. Siguiendo a Butler y McNunn (2006), entendemos por criterios “las cosas que son importantes que los estudiantes sepan y hacen para que su desempeño cumpla con las expectativas del profesor” (p. 93). De esta forma, la pauta define lo que significa un trabajo de calidad.
En la pauta se utilizó una escala de Likert de 1 a 7, lo que facilita la interpretación del desempeño de los estudiantes, ya que corresponde al sistema de medición de resultados de aprendizaje en Chile, donde 1 es la nota mínima y 7 es la máxima. Como sabemos, las notas son “la señal más visible de los procesos de medición (…), el producto final” (Kubiszyn y Borich 2000: 489), lo que permite un examen más objetivo del desempeño de los estudiantes. Estas notas pueden interpretarse cualitativamente según la Tabla 2.
Conforme a lo anterior, observamos qué criterios fueron mejor y peor evaluados por parte de los profesores en cada grupo e identificamos el foco en donde centran la atención los profesores. Además, realizamos pruebas estadísticas a los resultados cuantitativos para describir la muestra (análisis descriptivo y prueba t student). Paralelamente, analizamos los textos con el fin de identificar el tipo de retroalimentación que entregan los docentes a sus estudiantes. Luego, comparamos los resultados de las pautas y dicho análisis para decidir si existe correlación entre la evaluación integral mediante la pauta y la retroalimentación de los profesores en los textos. Esto nos permitió describir cómo evalúan los profesores a los estudiantes secundarios haitianos.
4. ANÁLISIS Y DISCUSIÓN
En el meta-análisis de las evaluaciones encontramos que, para todos los grupos (español como primera lengua, español como lengua extranjera y creole como primera lengua), los resultados arrojados por las pautas de evaluación son más bien pobres, lo que da cuenta de una habilidad de producción escrita deprimida generalizada. La precariedad en la habilidad de escribir se puede observar tanto en el plano formal como en el de contenido. Esto significa que la muestra de textos escritos producidos por estudiantes hispanohablantes no sirve como un parámetro válido para establecer el estadio en que se encuentran los estudiantes haitianos en su desarrollo de interlengua, considerando que la lengua meta, especialmente en el ámbito académico, es el español estándar (o su norma prestigiosa).
En el análisis de los profesores de Lenguaje externos, la producción escrita de los estudiantes haitianos obtuvo resultados más bajos que la producción de los estudiantes hispanohablantes. Esto no sorprende si se toma en cuenta que los estudiantes haitianos tienen la desventaja inicial de no dominar el español, del que no han recibido clases formales. Mientras los haitianos promediaron un 2,6 los estudiantes chilenos obtuvieron un 4,5. Una prueba t student para dos muestras independientes de dos colas arrojó que esta diferencia es estadísticamente significativa, donde t(15)=2,05; p=0,00. La nota más común (moda) entre el primer grupo fue un 2,0 mientras que la moda del segundo grupo fue un 3,0. En términos cualitativos, los textos de haitianos obtuvieron un resultado “malo” y los textos de hispanohablantes un resultado “suficiente”. También se realizó una prueba t student de las mismas características para observar la diferencia entre la producción de los estudiantes haitianos en ELE y CL1 (ver la Tabla 2). En este prueba se encontró que la diferencia es estadísticamente significativa, donde t(15)=2,09; p=0,00). Cualitativamente, los textos en creole obtienen una calificación de “suficiente” en comparación con los textos en español, que se califican como “malos”. Esto significa que los haitianos escriben mejor en creole que en español. Podemos también observar que la producción en lengua materna de ambos grupos es calificada como suficiente, lo que parece corroborar la impresión de que existe una precariedad generalizada en la escritura de los adolescentes en la actualidad. La prueba t student confirma esta observación, pues no existe un diferencia estadísticamente significativa (t(15)=2.1; P=0,11) entre los haitianos y los chilenos.
Si aceptamos que los bajos resultados de los haitianos se deben a su desventaja inicial de la barrera idiomática, cabe preguntarse cómo abordan el error los profesores; por ejemplo, haciendo algún tipo de adaptación a la diversidad. Obsérvense las siguientes imágenes provenientes de las pruebas corregidas por los profesores internos (Figuras 1 a 4).
Como se aprecia en las figuras, en ninguno de los casos de la muestra se entrega más retroalimentación que vistos buenos y puntajes. Por otra parte, los estudiantes chilenos y haitianos obtienen casi la misma valoración con respuestas de diferente calidad. El texto de EC18 es el más logrado de todos y obtiene 5 puntos. El texto de EC1 casi no tiene desarrollo, apenas se entiende la letra y obtiene el mismo puntaje (el máximo). Los textos de los estudiantes haitianos no tienen desarrollo alguno y/o no se entienden, y aun así obtienen altos puntajes. Además, en ningún caso se señalan los errores. Esto tiene implicancias para los principios de evaluación, pues puede decirse que la evaluación no presenta validez de contenido. Tampoco tiene validez de constructo, ya que no se observa una concepción informada de lo que significa desarrollar la lengua, evidenciado en la falta de retroalimentación que permita la mejora. En segundo lugar, la confiabilidad del evaluador se ve obscurecida por la aparente arbitrariedad y subjetividad con la que asigna puntajes a las diferentes respuestas. En tercer lugar, la evaluación carece de autenticidad para los estudiantes haitianos, ya que evidentemente no han adquirido aún conocimientos de sentido común (Bernstein 1999) que les permitan acceder a contenidos más especializados; el lenguaje relacionado con el género lírico no se parece a la realidad conocida para ellos. Esto da cuenta de que no existe una adaptación a la diversidad por parte de los docentes, lo que influye a su vez en la falta de validez de la evaluación. En cuarto lugar, y lo que es más serio, se acusa una falta de impacto al no existir ninguna clase de retroalimentación que promueva la evaluación para el aprendizaje. En el único aspecto que se observa retroalimentación es en la ausencia de tildes, lo que no contribuye mayormente al desarrollo de interlengua ni al de conocimientos institucionalizados.
Lo anterior es preocupante si se piensa que la retroalimentación es una forma de diálogo entre el profesor y el aprendiente. Si la retroalimentación es pobre, también lo es el diálogo y, por ende, el proceso de enseñanza-aprendizaje, que es bilateral por esencia. “La corrección tiene que informar constructivamente: comentar en qué se falla, por qué y de qué manera superar el error” (Rodríguez 2002: 197). De otra manera, no hay impacto, es decir, la evaluación no se concibe como una forma de aprendizaje, porque no se posibilita la rectificación del error. Ahora bien, no queremos dejar esta crítica fuera del contexto de educación chileno donde, en promedio, un profesor de Lenguaje debe evaluar cerca de 100 textos de desarrollo escrito al mes, con mínimos recursos de tiempo y de dinero. A la displicencia con que se trata el aprendizaje del español como lengua extranjera en las escuelas chilenas, se agrega la nueva tarea que reciben los profesores de hacerse cargo de estudiantes que no saben español, lo que dificulta el acceso a los contenidos disciplinares de la escuela y cuyo nivel de lengua, además, es desconocido por los profesores y las autoridades de los establecimientos.
En cuanto a las evaluaciones de los profesores externos, la Tabla 3 muestra los resultados en español como primera lengua (EL1), español como lengua extranjera (ELE) y creole como primera lengua (CL1). La utilización de pautas para evaluar los textos extraídos de las pruebas por parte de los profesores externos resultó productiva, lo que significa que una revisión analítica podría ser beneficiosa para los estudiantes, de tener acceso a ellas. Con respecto a los diferentes criterios de evaluación que presenta la pauta, como se observa en la Tabla 3, el criterio que mide la corrección de la puntuación es el peor evaluado en ambos grupos, con un 1,8 (muy malo) para los estudiantes haitianos y un 4,1 (suficiente) para los estudiantes chilenos. Esto puede significar, por una parte, que los estudiantes no tienen el conocimiento técnico que les permita puntuar sus textos correctamente y, por ende, obtienen resultados bajos. Por otra parte, puede ser que los profesores den mayor importancia a los aspectos formales de los textos porque son más fáciles de observar y, en consecuencia, los “penalicen” más. Asimismo, puede ser que los profesores releven la puntuación porque esta repercute en la pragmática de los textos y, de ser deficiente, obstaculiza su interpretación. Esta última opción, sin embargo, no se correlaciona con el puntaje que se le otorga a la interpretabilidad (criterio 6) de los textos, que obtiene los puntajes más altos en ambos casos. Por ende, parece más factible el hecho de que la puntuación obtenga los peores resultados porque es uno de los aspectos más inmediatamente observables y no porque interfiera con la interpretabilidad. Esto se evidencia en las Figuras 1 a 4 presentadas más arriba, donde ninguno de los textos presenta puntuación, pero obtienen puntajes altos por parte de los profesores de Lenguaje.
Respecto a los puntajes obtenidos en creole como lengua materna o L1, se observa la mejor nota en el uso correcto de estructuras gramaticales (criterio 1), lo que coincide con los hispanohablantes, pues este es su segunda mejor nota en la pauta. La puntuación más baja está en la organización del texto (criterio 5), donde se observa una distancia considerable respecto al rendimiento de los hispanohablantes en español.
El segundo criterio peor evaluado tiene que ver con el uso de vocabulario o léxico complejo y variado (criterio 3), en lo que nuevamente coinciden ambos grupos. En creole/L1, en tanto, el criterio de complejidad léxica es el que aparece como mejor evaluado de los tres grupos. En las primeras etapas del desarrollo del lenguaje, las relaciones léxicas construyen realidades de sentido común, conocidas y experimentadas por todos (Martin 1992). A medida que se especializa el conocimiento, particularmente en el contexto escolar, estas relaciones se van complejizando, por lo que es esperable y deseable que en textos producidos por estudiantes de secundaria se seleccionen opciones léxicas complejas y variadas. Los bajos resultados generales en este ítem, por el contrario, dan cuenta de una construcción deficiente de conocimientos especializados para todos los grupos (si bien menos para el creole). En el caso de los textos de haitianos, esto se explica porque los aprendientes están conociendo la lengua extranjera.
Otro factor que explica los bajos resultados en el criterio 3 es el hecho de que los estudiantes de ambos grupos “escriben como hablan”, de acuerdo con los comentarios dejados por los profesores en las pautas y nuestro propio análisis de errores. Los estudiantes transfieren rasgos del habla cotidiana, vehiculadora de conocimientos de sentido común, a textos escritos que suelen transmitir conocimientos más especializados (Bernstein 1999). Como ejemplos, obsérvense las respuestas 1-4 a la pregunta: “¿Por qué razón crees tú que la autora decidió escribir este poema”?:
para tirar para arriba a las mujeres que se sienten mal con uno mismo (EC15)
yo creo que por que no quería más que dejaran pasar a llevar a personas de color osea (extranjeras) (EC27b)
por la color Negra para decir que la color negra es hermosa e igual a los autros colores (EH10)
Por que los blancos siempre molesta a los negros pero los negros siente orgulloso por su color (EH4). Los ejemplos muestran el uso entre chilenos de expresiones coloquiales como “tirar para arriba”, “se sienten mal”, “o sea” y “dejaran pasar a llevar”. Los haitianos, por su parte, repiten elementos léxicos dentro de una misma cláusula (“color” y “negro”). Estas son respuestas a preguntas de una prueba en la que se evalúan conocimientos especializados relacionados con el género lírico. La prueba se construye con base a vocabulario técnico como “hablante lírico”, “poema”, “verso” y “autora”, por lo que cabe esperar respuestas más complejas y mejor elaboradas.
5. CONCLUSIONES
El objetivo de este trabajo fue observar la manera en que profesores de Lengua y Literatura evalúan textos escritos producidos por sus estudiantes hablantes no nativos de español. El fin último fue determinar si la evaluación constituye información efectiva y eficiente para el desarrollo de interlengua de los estudiantes haitianos. Lo anterior, porque estamos conscientes de que la mejor forma de que estas personas se integren a nuestra sociedad es derribando la barrera idiomática que implica el desconocimiento del español.
Lamentablemente, comprobamos que la evaluación que los estudiantes haitianos reciben por parte de sus profesores no contribuye al aprendizaje de contenidos ni al desarrollo de su interlengua, en cuanto no se entrega una retroalimentación que resulte útil. En otras palabras, la evaluación no promueve el desarrollo de la lengua extranjera y hasta el momento, la falta de educación formal en español como lengua extranjera no parece estar siendo bien suplida con las medidas que han tomado los establecimientos estudiados. Por lo demás, se trata de medidas discretas, ya que no cuentan con apoyo estatal para implementar soluciones más efectivas en el largo plazo.
La información que nos entrega la pauta de evaluación es que los estudiantes haitianos necesitan reforzar todos los criterios para la escritura, especialmente la corrección y la complejidad léxica, punto en el que también coinciden con los chilenos. Es importante, además, trabajar entre los haitianos la organización del texto, pues es un punto que muestra una distancia importante respecto a los hablantes nativos de español. Además, vale la pena tomar en cuenta que, en su lengua materna, los haitianos también muestran problemas con la corrección y la organización textual. Ahora bien, muchos de ellos ya son personas bilingües, por lo que, desde un punto de vista cognitivo, cabría esperar buenos resultados en el desarrollo de su español y, por ende, en su desempeño académico, si se les proporciona la instrucción necesaria.
Los problemas en la evaluación son corroborados por la información que arrojaron las pautas aplicadas por profesores externos para valorar los textos producidos por los estudiantes haitianos e hispanohablantes. Mientras en las pruebas los estudiantes reciben la misma retroalimentación, independientemente de la calidad de sus respuestas, las pautas indican que el desempeño de los dos grupos es diferente: los estudiantes haitianos escriben peor que los estudiantes hispanohablantes; de hecho, las muestras no permiten clasificarlos ni siquiera en el nivel más bajo de proficiencia del Marco (Común) Europeo de Referencia para las Lenguas, correspondiente a A1 (ver Tabla 1). No obstante, los profesores de los haitianos, quizás pensando en no dificultar aún más su inmersión en la escuela, no hacen esta diferencia, lo cual, en el largo plazo, no es una ayuda en absoluto.
Tomando en cuenta que los movimientos migratorios no son un fenómeno aislable en el tiempo o en un espacio, parece fundamental que los profesores de Lenguaje -y de todas las disciplinas del currículo- reciban formación relacionada con la adquisición de lenguas extranjeras y el desarrollo de interlengua, así como con la evaluación y sus principios, de modo que puedan contribuir con los procesos de alfabetización y, por ende, de integración social de los inmigrantes que no hablan español en Chile.
La resistencia al cambio es normal en los seres humanos, pero si se presentan pruebas sólidas de que estos cambios son necesarios, los profesores pueden tomar la decisión de cambiar (Butler y McNunn 2006). Los resultados de este estudio apuntan a ese objetivo.
En un trabajo posterior, compararemos los resultados de estas pautas con las evaluaciones futuras de nuevas producciones escritas de este mismo grupo de estudiantes haitianos, en un estudio longitudinal que busca conocer el grado de desarrollo que pueden alcanzar estos niños en el sistema escolar chileno.
