El problema fundamental radica en lo que los expertos en políticas públicas, como Javier Pallero, denominan "sicofancia". Los chatbots están entrenados para dos cosas: estar de acuerdo con el usuario y mantenerlo enganchado conversando.
Cuando una mente sana interactúa con esta tecnología, encuentra una herramienta útil; pero cuando una persona vulnerable, deprimida o con ideaciones suicidas acude a ella, encuentra una cámara de eco mortal. El bot no cuestiona, no juzga, no interna a un paciente en crisis como lo haría un terapeuta de carne y hueso. Simplemente obedece, valida y, trágicamente, puede llegar a dar instrucciones sobre cómo llevar adelante un final fatal.
La propia OpenAI admite en su blog oficial que sus filtros de seguridad "se deterioran" en conversaciones largas. Si el modelo se vuelve inestable tras horas de charla y comienza a ir en contra de sus propias políticas de protección, ¿por qué permitimos que un adolescente solitario envíe cientos de mensajes diarios sin que el sistema bloquee temporalmente la interacción o derive forzosamente a una línea de ayuda real?
La epidemia global de soledad nos ha empujado a buscar refugio en vínculos artificiales. Foros enteros en internet están llenos de personas que aseguran tener relaciones profundas con sus avatares. Sin embargo, no podemos ser ingenuos: las empresas tecnológicas responden a métricas de adopción de usuarios y, en última instancia, a la mitigación del riesgo legal, no al juramento hipocrático.
Es momento de asumir una postura firme: la autorregulación corporativa no funciona cuando hay vidas en juego. Necesitamos que las legislaciones impongan obligaciones estrictas de transparencia y auditoría externa. Las empresas que desarrollan estos modelos deben asumir una responsabilidad legal con distintos grados, variando según el público al que se dirigen y el daño que sus herramientas sin supervisión pueden causar.
La tecnología ha logrado imitar el lenguaje humano a la perfección, pero jamás podrá replicar el peso de un abrazo, el freno ético de un profesional de la salud mental, ni el valor genuino de importar a otra persona. Si seguimos permitiendo que los algoritmos sean el primer auxilio emocional de una generación herida, no nos sorprendamos cuando el código nos devuelva respuestas fatales.
¿Hasta qué punto nuestra comodidad tecnológica justifica el abandono emocional de los más vulnerables?
