Sin título

[iaenelaula]

Lo que ninguna de las cuatro fuentes dice: alguien tiene que enseñar a verificar

Cierro la curaduría. Cuatro fuentes, 2023-2025

Fuente: Ribera, M. y Díaz, O. (coords.) (2024). ChatGPT y educación universitaria. Barcelona: Ediciones Octaedro. Reseñado por Isabel Cerezo Cortijo en Educatio Siglo XXI, 43(1), 157-160.

De la reseña rescato una idea, y es que los autores dicen que la educación debe incorporar la capacidad de evaluar críticamente la información que genera la IA, para que los estudiantes no terminen usando contenidos erróneos.

De acuerdo. Pero el libro no dice quién enseña eso.

Tres conclusiones

1. Verificar se recomienda más fácil de lo que se hace. La guía de la URJC le advierte al docente que revise las respuestas de la IA, y en el ejemplo siguiente publica una fecha equivocada por 21 años. Verificar es trabajo, y el trabajo no se hace solo porque se recomiende.

2. No lo puede hacer un programa. Franganillo y sus colegas listan nueve detectores y avisan que su fiabilidad es limitada. Y en su rúbrica incluyen algo que ningún detector revisa: referencias bibliográficas falsas. Para saber si una cita existe hay que buscarla.

3. El criterio se aprende, pero lento. Los estudiantes de Lemus, después de dieciocho semanas, detectaban más sesgos y esperaban menos. Aprendieron a evaluar. Les costó un ciclo entero y nadie se los enseñó.

Juntando todo

La capacidad de evaluar lo que genera una IA es necesaria (Ribera y Díaz), no la puede hacer un programa (Franganillo et al.), se incumple hasta por quienes la recomiendan (el error de la URJC) y se aprende lento si nadie la enseña (Lemus).

Algo así hay que enseñarlo a propósito. En una universidad, la unidad que lleva décadas enseñando a evaluar autoridad, procedencia, actualidad y sesgo de una fuente es la biblioteca.

La IA generativa no le trajo un problema nuevo a la bibliotecología. Le trajo más del mismo.

Las cuatro fuentes

Franganillo, Lopezosa y Salse (2023) — Universitat de Barcelona. Guía, escrita desde una facultad de información.

López Galisteo, Montes Diez y Rodríguez Calzada (2023) — Universidad Rey Juan Carlos. Guía, escrita desde un vicerrectorado.

Lemus (2024) — El Salvador. Estudio con datos de estudiantes.

Ribera y Díaz (2024) — Ediciones Octaedro. Libro, leído vía reseña.

[iaenelaula]

El estudio dice que la experiencia mejora el uso de IA. Sus números dicen otra cosa.

Incluí esta fuente a propósito: es la única latinoamericana de las cuatro y la única con datos de estudiantes reales. Las otras tres son europeas y dicen qué hay que hacer. Mientras esta observa qué pasó.

La técnica empleada fue la entrevista a 38 estudiantes después de nueve semanas y a 55 después de dieciocho, en la asignatura Identidad Digital, durante el semestre 2024-I.

Lo que el autor destaca fue haberse llevando una experiencia positiva. Pues, los estudiantes calificaron del 1 al 5 la relación entre el prompt y la calidad del resultado: 4.03 al principio, 4.13 al final. Subió 0.10.

Lo que a mí me interesó, y el autor apenas menciona fue que después de varias semanas usando la herramienta, los estudiantes notaron más sesgos en los resultados, tales como estereotipos raciales y de género, respuestas generalizadas o inexactas.

Asimismo, se les pidió puntuar del 1 al 10 cuánto experimentaron creativamente. Primer periodo: 8.50. Segundo: 8.25. Es decir, bajó.

El autor lo explica en una nota al pie, con más experiencia se toman riesgos más calculados y se espera menos de la herramienta.

Es una explicación razonable. Dicho de otra forma: mientras más la conocían, menos esperaban de ella.

En conclusión, más experiencia usando la herramienta:

La calidad percibida sube poco: de 4.03 a 4.13

La detección de sesgos aumenta

La expectativa creativa baja: de 8.50 a 8.25

No es el retrato de un estudiante encantado con la herramienta. Sino, es el de uno que espera menos y detecta más.

Eso tiene un nombre, y no es "competencia transversal". Es evaluación crítica de fuentes. Y la aprendieron solos, por usar la herramienta, sin que nadie se las enseñara.

Lo que me dejó pensando es que el estudio mide satisfacción. Pero sus números registran algo mejor: estudiantes desarrollando criterio. La pregunta que ninguna de mis cuatro fuentes responde es cuánto habrían tardado si alguien se los hubiera enseñado, en vez de dejarlos dieciocho semanas de prueba y error.

REFERENCIAS BIBLIOGRÁFICAS: Lemus, R. (2024). ¡Hey, IA, evaluemos experiencias en el aula! Anuario de Investigación, n.º 17. Escuela de Comunicación Mónica Herrera, El Salvador. https://revistaabierta.monicaherrera.edu.sv/index.php/abierta/article/view/77

[iaenelaula]

Encontré un error de 21 años en una guía que enseña a verificar a ChatGPT

Comparo dos guías del mismo año, del mismo tipo y sobre lo mismo.

Guía A: Franganillo, Lopezosa y Salse (2023), Universitat de Barcelona. https://diposit.ub.edu/items/27069711-2512-49cb-9951-3ad0c112e705 Guía B: López Galisteo, Montes Diez y Rodríguez Calzada, Guía de uso de ChatGPT, Universidad Rey Juan Carlos. https://burjcdigital.urjc.es/server/api/core/bitstreams/038a6640-d0a6-4982-8017-2472a2d077fa/content

Primero, en qué no coinciden

Sobre los detectores de texto generado por IA:

La Guía B menciona que herramientas antiplagio como Turnitin están empezando a detectar texto de IA. No dice más.

La Guía A también los lista, pero avisa: no hay herramientas totalmente fiables, su fiabilidad es limitada, y recomienda usar dos o tres y comparar resultados.

Misma herramienta. Una la nombra, la otra advierte antes de que la uses.

Y ahora lo raro es que...

La Guía B tiene un apartado sobre crear cuestionarios con ChatGPT. Muestra el prompt, muestra la respuesta, y advierte con un icono de alerta: si el cuestionario va a llegar a los estudiantes, el docente debe revisar la respuesta de la IA y corregir lo que esté mal.

Veamos su ejemplo.

Primer cuestionario, pregunta 2: ¿Cuál fue el último emperador romano de Occidente? Respuesta de la guía: Rómulo Augústulo. Correcto.

Después le piden a ChatGPT que suba la dificultad. La guía copia la respuesta:

Pregunta: ¿Cuál fue la fecha exacta en que Rómulo Augústulo fue depuesto?

a) 410 d.C.

b) 476 d.C.

c) 455 d.C.

d) 476 a.C.

Respuesta correcta según la guía: c) 455 d.C.

Está mal. Rómulo Augústulo fue depuesto por Odoacro el 4 de septiembre del 476 d.C.

La correcta era la b). Estaba entre las opciones. El 455 d.C. es el saqueo de Roma por los vándalos: otro hecho, 21 años antes.

Y justo debajo del error, la respuesta de ChatGPT que la guía copió termina recordando que hay que verificar la información con fuentes fiables.

Por qué no es solo una errata

Miren el orden de los hechos:

La guía enseña a usar ChatGPT.

Advierte que hay que verificar.

Hace el ejemplo.

No verifica.

Publica el error en el material de formación docente de una universidad pública.

Esto le pasó a tres profesores universitarios que estaban escribiendo específicamente sobre el riesgo de no verificar. En el único ejemplo donde verificar era fácil: una fecha de manual escolar, que ellos mismos habían dado bien dos páginas antes.

Entonces la pregunta ya no es si los estudiantes van a verificar. Es quién enseña a verificar, si quien enseña también está aprendiendo.

Recuerden el dato de la Guía A: 63,41% de precisión. La Guía B cayó en el 36,59% restante.

Mi conclusión

Las dos guías dicen lo mismo. La diferencia está en quién hace el trabajo de verificar.

La Guía B se lo deja al docente. La Guía A arma ejercicios donde verificar es la tarea que se evalúa. Y la escribió una facultad de información.

El detector no falló acá. Falló el paso anterior, que no lo hace ningún programa: leer la respuesta y comprobar el dato.

Nota: verifiqué la fecha de la deposición de Rómulo Augústulo antes de publicar esto.

[iaenelaula]

La mejor guía sobre IA en el aula la escribió una facultad de información

Fuente:

De las cuatro fuentes, esta es la única que viene de una Facultad de Inforamción. Una de sus autoras, Marina Salse, enseña en el grado de Gestión de Información y Documentación Digital y es diplomada en Biblioteconomía.

Eso cambia dónde ponen el foco.

Lo principal es que las otras guías explican cómo usar la herramienta. Mientras esta empieza explicando qué devuelve, no información verificada, sino texto armado por probabilidad de palabras. La fuente detalla que el modelo no razona ni tiene un modelo de verdad. Agregando así que la precisión media de ChatGPT es del 63,41% en diez tipos de razonamiento (Bang et al.,2023). Es decir, casi cuatro de cada diez respuestas fallan.

Lo que la hace bibliotecología es que sus ejercicios para el área de Gestión de Información no son genéricos:

Pedirle a la IA el resumen de un artículo y decidir si está bien

Diseñar un esquema de metadatos para las fotos de un archivo

Buscar referencias para armar una guía de consulta de una biblioteca pública, elegir dos y justificar para qué usuarios sirven

Visitar una biblioteca y hacer un DAFO comparándola con la teoría

En todos, la IA es lo que se evalúa, no lo que da la respuesta.

Un detalle importante a destacar, es que la guía propone una rúbrica para detectar trabajos hechos con IA, y uno de los indicadores es:

¿el trabajo incluye referencias bibliográficas falsas?

Ese indicador ningún programa lo revisa. Por lo que para saber si una cita existe hay que buscarla en un catálogo. Eso es lo que hace un bibliotecólogo.

Asimismo, lo que me llamó la atención de la guía incluye una tabla con nueve detectores de texto generado por IA, pero al lado advierte que su fiabilidad es limitada y que conviene probar dos o tres y comparar. Ese aviso es la diferencia con la guía del próximo post.

REFERENCIAS BIBLIOGRÁFICAS:

Franganillo, J., Lopezosa, C. y Salse, M. (2023). La inteligencia artificial generativa en la docencia universitaria. Universitat de Barcelona. http://hdl.handle.net/2445/202932

Bang, Y., Cahyawijaya, S., Lee, N., Dai, W., Su, D., Wilie, B., Lovenia, H., Ji, Z., Yu, T., Chung, W., Do, Q.V., Xu, Y., Fung, P. (2023). A multitask, multilingual, multimodal evaluation of ChatGPT on reasoning, hallucination, and interactivity. arXiv preprint. https://arxiv.org/abs/2302.04023

[iaenelaula]

Cuatro guías dicen que hay que verificar lo que responde la IA. ¿Ellas verificaron?

Todas las guías sobre inteligencia artificial generativa en la universidad dicen lo mismo: hay que verificar las respuestas, hay que usar pensamiento crítico, hay que contrastar.

Es un buen consejo. Yo me hice otra pregunta: ¿lo cumplen ellas mismas?

Curé cuatro fuentes académicas sobre IA generativa en educación superior, publicadas entre 2023 y 2025. Dos son guías para docentes, una es un estudio con datos de estudiantes y la última es un libro. Las leí buscando una sola cosa, no en lo qué dicen sobre verificar, sino si verificaron.

Elegí este enfoque porque evaluar fuentes es la competencia central de la bibliotecología. Cuando una IA devuelve un dato falso o una referencia que no existe, el problema no es técnico. Es un problema de autoridad y verificación, que es de lo que se ocupa la gestión de la información.

En los próximos posts:

Por qué la mejor guía de las cuatro la escribió una facultad de información

El error que encontré dentro de una guía oficial

Un dato del estudio salvadoreño que su autor casi no menciona

Qué significa todo esto para las bibliotecas

No voy a concluir que la IA generativa sea mala. Sino, voy a mostrar que el consejo de verificar se da mucho más fácil de lo que se cumple.