Programas de IA para monitorear a estudiantes tienen riesgos de seguridad

Una estudiante preguntó en un motor de búsqueda: “¿Por qué me golpea mi novio?”. Otro, en un correo electrónico, amenazó con suicidarse por un amor no correspondido. Un adolescente gay se sinceró en un diario en internet sobre sus dificultades por tener padres homofóbicos, y escribió que solo quería ser como es.

En cada caso y en miles más, un software de vigilancia que funciona a base de inteligencia artificial (IA) alertó de inmediato al personal de Escuelas Públicas de Vancouver, en el estado de Washington.

Vancouver, y muchos otros distritos del país, han recurrido a la tecnología para monitorear los dispositivos proporcionados por las escuelas las 24 horas del día, los 7 días de la semana, en busca de cualquier señal de peligro mientras lidian con la crisis de salud mental estudiantil y la amenaza de tiroteos.

El objetivo es mantener a los niños a salvo, pero estas herramientas plantean serias dudas sobre la privacidad y la seguridad, como se demostró cuando periodistas del periódico The Seattle Times y de The Associated Press obtuvieron acceso inadvertidamente a casi 3.500 documentos estudiantiles confidenciales y sin censura a través de una solicitud de registros sobre la tecnología de vigilancia del distrito.

___

La Colaboración de Periodismo sobre Educación (Education Reporting Collaborative), una coalición de ocho salas de redacción, investiga las consecuencias indeseables de la vigilancia impulsada con IA en las escuelas. Los integrantes de la coalición son AL.com, The Associated Press, The Christian Science Monitor, The Dallas Morning News, The Hechinger Report, Idaho Education News, The Post and Courier, en Carolina del Sur y The Seattle Times.

___

Los documentos publicados muestran que los estudiantes usan esas computadoras portátiles para algo más que las tareas escolares: lidian con inquietudes y angustia en su vida personal.

Los alumnos escribieron sobre depresión, desamor, suicidio, adicción, acoso escolar y trastornos alimentarios. Hay poemas, ensayos universitarios y extractos de sesiones de juego de roles con chatbots de IA.

El personal escolar de Vancouver y cualquier otra persona con enlaces a los archivos podría leerlo todo. Los cortafuegos y las contraseñas no protegían los documentos, y los nombres de los estudiantes no estaban censurados, lo que, según advirtieron expertos en ciberseguridad, representaba un grave riesgo de seguridad.

Las herramientas de monitoreo a menudo ayudaron a los consejeros a contactar a estudiantes que, de otro modo, habrían pasado por dificultades en silencio. Pero el caso de Vancouver es un crudo recordatorio de las consecuencias imprevistas de la tecnología de vigilancia en las escuelas estadounidenses.

En algunos casos, la tecnología ha sacado del armario a menores LGBTQ+ y ha erosionado la confianza entre los estudiantes y el personal escolar, sin lograr mantener las escuelas completamente seguras.

La empresa Gaggle Safety Management, que desarrolló el software que rastrea la actividad en línea de los estudiantes de las escuelas de Vancouver, cree que no monitorear a los niños es como dejarlos sueltos en “un patio de recreo digital sin vallas ni supervisores escolares”, declaró Jeff Patterson, su director general y fundador.

Aproximadamente 1.500 distritos escolares de todo el país utilizan el software de Gaggle para rastrear la actividad en internet de aproximadamente 6 millones de estudiantes. Es una de las muchas empresas, como GoGuardian y Securly, que prometen mantener a los niños seguros mediante vigilancia web asistida por IA.

Esta tecnología ha tenido una gran demanda desde la pandemia, cuando casi todos los niños recibieron una tablet o laptop proporcionada por la escuela. Según una investigación del Senado de Estados Unidos, más de 7.000 escuelas o distritos utilizaron los productos de vigilancia de GoGuardian en 2021.

Las escuelas de Vancouver se disculparon por entregar los documentos. Sin embargo, el distrito enfatiza que Gaggle es necesario para proteger el bienestar de los estudiantes.

“No creo que podamos poner un precio a la protección de los estudiantes”, dijo Andy Meyer, director de la Escuela Secundaria Skyview de Vancouver. “Cada vez que nos enteramos de algo así y podemos intervenir, sentimos que es muy positivo”.

Dacia Foster, una madre en el distrito, elogió los esfuerzos para mantener a los estudiantes a salvo, pero le preocupan las violaciones de la privacidad.

“Eso no es nada bueno”, dijo Foster después de enterarse de que el distrito divulgó los registros inadvertidamente. “Pero, ¿cuáles son mis opciones? ¿Qué hago? ¿Saco a mi hija de la escuela?”.

Foster enfatiza que se molestaría si la información privada de su hija se vio comprometida.

“Al mismo tiempo”, agregó, “me gustaría evitar un tiroteo escolar o un suicidio”.

Cómo funciona la vigilancia estudiantil

Gaggle utiliza un algoritmo de aprendizaje automático —aprendizaje de máquinas— para analizar lo que los estudiantes buscan o escriben en internet a través de una laptop o tablet proporcionada por la escuela las 24 horas del día, o cada vez que inician sesión en su cuenta escolar en un dispositivo personal. El último contrato que Vancouver firmó, en el verano de 2024, muestra un precio de 328.036 dólares por tres años escolares —aproximadamente el costo de contratar a un consejero adicional—.

El algoritmo detecta posibles indicadores de problemas como acoso escolar, autolesiones, suicidio o violencia escolar y envía una captura de pantalla a revisores humanos. Si los empleados de Gaggle confirman que el problema podría ser grave, la empresa alerta a la escuela. En caso de peligro inminente, Gaggle llama directamente a los funcionarios escolares. En situaciones excepcionales en las que nadie responde, Gaggle puede contactar a las autoridades para que realicen una verificación de bienestar.

Un consejero escolar de Vancouver, quien solicitó el anonimato por temor a represalias, comentó que reciben de tres a cuatro alertas de Gaggle sobre estudiantes al mes. En aproximadamente la mitad de los casos, el distrito contacta a los padres inmediatamente.

“Muchas veces, las familias no lo saben. Abrimos la puerta para la ayuda”, dijo el consejero. Gaggle es “bueno para detectar ideas suicidas y autolesiones, pero los estudiantes encuentran cómo darle la vuelta una vez que saben que han sido señalados”.

Reporteros del Seattle Times y de la AP observaron qué clase de texto activaba las alertas de Gaggle después de solicitar información sobre el tipo de contenido denunciado. Gaggle guardó capturas de pantalla de la actividad que activó cada alerta, y los funcionarios escolares proporcionaron accidentalmente enlaces a ellas sin darse cuenta de que no estaban protegidas por una contraseña.

Tras enterarse de la divulgación inadvertida de los registros a los periodistas, Gaggle actualizó su sistema. Ahora, después de 72 horas, solo quienes hayan iniciado sesión en una cuenta de Gaggle pueden ver las capturas de pantalla. Gaggle afirmó que esta función ya estaba en desarrollo, pero que aún no se implementaba para todos los clientes.

La empresa afirma que los enlaces deben ser accesibles sin iniciar sesión durante esas 72 horas para que los contactos de emergencia —quienes suelen recibir estas alertas a altas horas de la noche en sus teléfonos— puedan responder rápidamente.

En Vancouver, la tecnología de monitoreo marcó más de 1.000 documentos por suicidio y casi 800 por amenazas de violencia. Si bien muchas alertas eran graves, muchas otras resultaron ser falsas alarmas, como un ensayo estudiantil sobre la importancia del consentimiento o una charla bobalicona entre amigos.

La hija de Foster, Bryn, estudiante de segundo año de la Escuela de Artes y Estudios Académicos de Vancouver, fue una de esas falsas alarmas. La llamaron a la oficina del director después de que escribió un relato corto que presentaba una escena que describía momentos ligeramente violentos.

“Me alegra que estén tomando precauciones al respecto, pero también creo que puede ser un poco excesivo”, dijo Bryn.

Las autoridades escolares sostienen que las alertas son necesarias incluso en casos menos graves o falsas alarmas, lo que garantiza que los posibles problemas se aborden con prontitud.

“Me da la oportunidad de reunirme con un estudiante a quien quizá no conocía y construir esa relación”, dijo Chele Pierce, consejera de la Escuela Secundaria Skyview.

Entre octubre de 2023 y octubre de 2024, casi 2.200 estudiantes —aproximadamente el 10% de la matrícula del distrito— fueron objeto de una alerta de Gaggle. En la Escuela de Artes y Estudios Académicos de Vancouver, donde estudia Bryn, aproximadamente 1 de cada 4 estudiantes tuvo comunicaciones que activaron una alerta de Gaggle.

Mientras las escuelas siguen con su utilización de tecnologías de vigilancia, sus efectos a largo plazo en la seguridad estudiantil no son claros. No existe ninguna investigación independiente que demuestre que reduzcan de forma medible las tasas de suicidio estudiantil o la violencia.

Un estudio de 2023 de RAND —una organización de investigación y análisis sin fines de lucro para mejorar políticas en diversos temas— encontró “escasa evidencia” tanto de los beneficios como de los riesgos de la vigilancia con IA, y concluyó: “Hasta la fecha, ninguna investigación ha examinado exhaustivamente cómo estos programas afectan la prevención del suicidio juvenil”.

“Si usted no cuenta con la cantidad adecuada de consejeros de salud mental, emitir más alertas no mejorará la prevención del suicidio”, dijo Benjamin Boudreaux, coautor del informe e investigador en ética de la IA.

Los estudiantes de la comunidad LGBTQ+ son los más vulnerables

En las capturas de pantalla publicadas por las escuelas de Vancouver, se observó que al menos seis estudiantes fueron potencialmente sacados del armario ante las autoridades escolares tras escribir sobre ser gay, transgénero o tener dificultades por disforia de género.

Los alumnos LGBTQ+ son más propensos que sus compañeros a sufrir depresión y a tener pensamientos suicidas, y recurren a internet en busca de apoyo.

“Sabemos que los jóvenes gay, especialmente aquellos en entornos más aislados, definitivamente utilizan internet como un salvavidas”, afirmó Katy Pearce, una profesora de la Universidad de Washington quien investiga la tecnología en estados autoritarios.

En una captura de pantalla, un estudiante de secundaria de Vancouver escribió en una encuesta de Google que había sido objeto de insultos trans y acoso racista. No es claro quién creó esta encuesta, pero la persona responsable prometió falsamente confidencialidad: “No tengo la obligación de reportarlo; por favor, cuéntame toda la verdad”.

Cuando el distrito escolar Escuelas Públicas de Durham, Carolina del Norte, implementó como prueba piloto el servicio de Gaggle, en 2021, las encuestas mostraron que la mayoría de los miembros del personal lo encontró útil.

Sin embargo, miembros de la comunidad expresaron su preocupación. Un defensor de la comunidad LGBTQ+ informó a la Junta de Educación que una alerta de Gaggle sobre lesiones autoinfligidas había provocado que un estudiante fuera sacado del armario ante su familia, que no le brindó apoyo.

Glenn Thompson, graduado de la Escuela de Artes de Durham, habló en una reunión de la junta durante su último año. Uno de sus profesores le prometió confidencialidad a un estudiante para una tarea relacionada con la salud mental. Un compañero de clase fue “tomado por sorpresa” cuando Gaggle alertó a las autoridades escolares sobre algo privado que reveló. Thompson dijo que nadie en la clase, incluido el profesor, sabía que la escuela implementaba Gaggle a modo de prueba.

“No se puede simplemente (vigilar) a la gente y no decirle. Eso es una terrible violación de la seguridad y la confianza”, dijo en una entrevista Thompson, ahora estudiante universitario.

Tras conocer estas experiencias, la Junta de Educación de Durham votó a favor de dejar de usar Gaggle en 2023. Al final, el distrito decidió que no valía la pena correr el riesgo de revelar la orientación sexual de los estudiantes ni de deteriorar sus relaciones con los adultos.

Los padres no saben realmente

El debate sobre la privacidad y la seguridad es complejo, y los padres a menudo desconocen que es siquiera un tema.

Pearce, la profesora de la Universidad de Washington, no recuerda haber leído sobre Securly —el software de vigilancia que utiliza el distrito escolar Escuelas Públicas de Seattle— cuando firmó el formulario de uso responsable del distrito antes de que su hijo recibiera una computadora portátil de la escuela.

Incluso cuando las familias se enteran de la vigilancia escolar, es posible que no puedan optar por no participar. El distrito Escuelas Públicas de Owasso, en Oklahoma, ha utilizado Gaggle desde 2016 para monitorear a los estudiantes fuera de clase.

Durante años, Tim Reiland, padre de dos adolescentes, no supo que el distrito usaba Gaggle. Se enteró hasta que preguntó si, por cuestiones de privacidad, su hija podía llevar su laptop personal a la escuela en lugar de verse obligada a usar la del distrito.

El distrito rechazó la solicitud de Reiland.

Cuando Zoe, la hija de Reiland, supo de Gaggle, dice que se sintió tan “alterada” que dejó de buscar en Google cualquier cosa personal en su Chromebook, incluso preguntas sobre su menstruación. No quería que la llamaran a la oficina por “buscar partes íntimas femeninas”.

“Tenía demasiado miedo como para ser curiosa”, agregó.

Las autoridades escolares dicen que no registran las métricas que miden la eficacia de la tecnología, pero creen que ha salvado vidas.

No obstante, la tecnología por sí sola no crea un espacio seguro para todos los estudiantes. En 2024, un adolescente no binario de la Escuela Secundaria Owasso llamado Nex Benedict se suicidó tras sufrir acoso incesante por parte de sus compañeros. Una investigación posterior de la Oficina para Derechos Civiles del Departamento de Educación de Estados Unidos descubrió que el distrito respondió con “indiferencia deliberada” a las denuncias de acoso sexual de algunas familias, principalmente en forma de acoso homofóbico.

Durante el año escolar 2023-2024, las escuelas de Owasso recibieron cerca de 1.000 alertas de Gaggle, incluidas 168 alertas por acoso y 281 por suicidio.

Cuando se le preguntó por qué el acoso escolar aún era un problema a pesar de la vigilancia, Russell Thornton, director general de tecnología del distrito, respondió: “Esta es una herramienta que utilizan los administradores. Obviamente, una sola herramienta no va a resolver los problemas del mundo y el acoso escolar”.

Efectos a largo plazo desconocidos

A pesar de los riesgos, la tecnología de vigilancia puede ayudar a los profesores a intervenir antes de una tragedia.

Una alumna de secundaria del Distrito Escolar Highline, en el área de Seattle, quien posiblemente era víctima de trata, usó Gaggle para comunicarse con el personal del campus, según Susan Enfield, la exsuperintendente.

“Ellos sabían que el personal leía lo que escribían”, dijo Enfield. “Fue, en esencia, la forma en que la estudiante pidió ayuda”.

No obstante, investigaciones en psicología del desarrollo muestran que es vital que los adolescentes tengan espacios privados en línea para explorar sus pensamientos y buscar apoyo.

“La idea de que los niños estén constantemente bajo vigilancia por parte de los adultos, creo que eso dificultaría desarrollar una vida privada, un espacio para cometer errores, un espacio para manejar sentimientos difíciles sin que los adultos intervengan”, dijo Boudreaux, el investigador en ética de la IA.

Patterson, de Gaggle, afirma que los dispositivos proporcionados por la escuela no son el lugar adecuado para la autoexploración ilimitada. Si dicha exploración toma un giro oscuro, como una amenaza, “la escuela será considerada responsable”, afirmó. “Si buscas esa libertad de expresión abierta, eso realmente no puede darse en las computadoras del sistema escolar”.

____

La cobertura educativa de The Associated Press recibe apoyo financiero de múltiples fundaciones privadas. La AP es la única responsable de todo el contenido. Encuentre los estándares de la AP para trabajar con organizaciones filantrópicas, una lista de patrocinadores y áreas de cobertura financiadas en AP.org.