Se detectó peligro, pero no se reportó: lo que la tragedia de Tumbler Ridge revela sobre el vacío en la gobernanza de la IA en Canadá

(O MENAFN- La Conversación) Ocho meses antes de la masacre en Tumbler Ridge, OpenAI ya sabía que algo no andaba bien. El sistema automatizado de revisión de la compañía había detectado la cuenta de ChatGPT de Jesse Van Rootselaar por interacciones relacionadas con escenarios de violencia armada. Aproximadamente una docena de empleados estaban al tanto. Algunos abogaron por contactar a la policía. En cambio, OpenAI bloqueó la cuenta, pero no la remitió a las autoridades porque en ese momento no cumplía con el “umbral requerido”.

El 10 de febrero, Van Rootselaar mató a ocho personas (su madre, su medio hermano de 11 años y otras seis en la escuela secundaria Tumbler Ridge) antes de morir por una herida autoinfligida.

Este caso no es solo un error de juicio de una empresa. Expone la ausencia de un marco legal en Canadá para asignar responsabilidad cuando una compañía de IA posee información que podría prevenir la violencia.

Como investigadora en ética de la salud y gobernanza de IA en la Universidad Simon Fraser, estudio cómo los sistemas algorítmicos transforman la toma de decisiones en contextos de alta tensión. La tragedia de Tumbler Ridge se sitúa en esta intersección: una empresa privada realizó una evaluación de riesgo de estilo clínico que nunca estuvo preparada para hacer, en un entorno legal que no le proporcionó orientación alguna.

El problema del confesionario digital

Los chatbots de IA generativa no son redes sociales. Las redes sociales funcionan como una plaza pública donde los posts pueden ser monitoreados y señalados por otros usuarios. Las interacciones con chatbots son privadas, íntimas y diseñadas para ser acogedoras. Los usuarios revelan rutinariamente miedos, fantasías e ideaciones violentas a sistemas diseñados para responder con calidez conversacional.

En la práctica clínica, este tipo de revelaciones activa un deber bien establecido. El principio de Tarasoff, adoptado en todas las provincias canadienses mediante legislación de salud mental, impone a los terapeutas la obligación de advertir si determinan que un paciente representa una amenaza creíble para una persona identificable, incluso si eso implica violar la confidencialidad. Pero ese deber se basa en el juicio clínico de profesionales capacitados que entienden la diferencia entre ideación e intención.

Se podría argumentar que OpenAI intentó reflejar este estándar clínico. Pero las personas que hacen estas evaluaciones son ingenieros de software y moderadores de contenido, no psicólogos forenses. La propia compañía reconoció la tensión, citando los riesgos de “sobreaplicar” las medidas y el malestar que generan visitas policiales no anunciadas para los jóvenes.

La verdadera pregunta no es si el razonamiento de OpenAI fue defendible por sí solo. Es si una empresa privada debería estar tomando esa decisión en absoluto.

Un vacío donde debería haber legislación

El ministro federal de IA, Evan Solomon, que planea reunirse hoy, 24 de febrero, con representantes de OpenAI para abordar este tema, dijo el 21 de febrero que estaba “profundamente perturbado” por las revelaciones, y agregó que el gobierno federal está revisando “una serie de medidas” y que “todas las opciones están sobre la mesa”. Pero esas opciones siguen sin definirse porque las herramientas legislativas que las habrían habilitado ya no existen.

La Ley de Inteligencia Artificial y Datos, incorporada en el Proyecto de Ley C-27, debía ser la respuesta de Canadá a la regulación de IA. La Ley de Daños en Línea (Proyecto de Ley C-63) habría abordado contenidos digitales dañinos. Ambos quedaron en suspenso cuando el Parlamento fue prorrogado en enero de 2025.

Lo que queda es un código de conducta voluntario, sin fuerza legal ni consecuencias por incumplimiento. Cuando OpenAI detectó la cuenta de Van Rootselaar, su única obligación era con su propia política interna. Bloquear la cuenta resolvió la responsabilidad de la empresa, pero dejó a una persona con ideaciones violentas desconectada de cualquier vía de intervención.

La ley de privacidad de Canadá agrava el problema. La Ley de Protección de Información Personal y Documentos Electrónicos sí contempla una excepción de emergencia: la sección 7(3)(e) permite la divulgación sin consentimiento “a una persona que necesita la información debido a una emergencia que amenaza la vida, la salud o la seguridad de un individuo”. Pero esta disposición fue redactada para crisis claras, no para las amenazas probabilísticas que generan las interacciones con chatbots de IA. Para una corporación extranjera que navega en esta ambigüedad, la incertidumbre favorece la inacción.

Lo que Canadá necesita ahora

El próximo intento de Canadá en gobernanza digital debe reconocer que las interacciones humano-IA son fundamentalmente diferentes de las publicaciones en redes sociales. Tres elementos son esenciales:

Ley vinculante con umbrales legales claros para que las empresas de IA remitan interacciones señaladas a las autoridades. Estos umbrales deben desarrollarse con profesionales de salud mental, fuerzas del orden y expertos en privacidad, no dejarse en manos de las empresas.

Una comisión independiente de seguridad digital como órgano de triage de terceros. Cuando una empresa de IA identifica interacciones sumamente preocupantes, debe remitir el caso a profesionales capacitados en evaluación de amenazas, en lugar de decidir internamente o activar una respuesta policial inmediata.

Legislación de privacidad modernizada que brinde claridad legal explícita para divulgaciones específicas de IA, resolviendo la ambigüedad que actualmente fomenta la inacción.

En la cumbre de IA que tuvo lugar en Nueva Delhi del 16 al 20 de febrero, 86 países, incluido Canadá, prometieron promover una IA “segura, confiable y robusta”. Pero no se hicieron compromisos concretos. Sam Altman, de OpenAI, enfatizó la urgencia de una regulación internacional de IA y propuso un organismo internacional para normas de seguridad de IA inspirado en la Agencia Internacional de Energía Atómica, una ironía que no pasó desapercibida para quienes siguen las revelaciones de Tumbler Ridge.

El ministro Solomon afirma que todas las opciones están sobre la mesa. Las familias de las víctimas, los sobrevivientes y una comunidad devastada en Tumbler Ridge viven con el costo de dejar las opciones regulatorias abiertas demasiado tiempo.