Le danger a été signalé, mais non signalé : ce que la tragédie de Tumbler Ridge révèle sur le vide de la gouvernance de l'IA au Canada

(MENAFN- The Conversation) Huit mois avant la fusillade de Tumbler Ridge, OpenAI savait que quelque chose n’allait pas. Le système automatisé de revue de l’entreprise avait signalé le compte ChatGPT de Jesse Van Rootselaar pour des interactions impliquant des scénarios de violence armée. Une dizaine d’employés en étaient informés. Certains préconisaient de contacter la police. Au lieu de cela, OpenAI a banni le compte, mais ne l’a pas signalé aux autorités parce qu’il ne remplissait pas le « seuil requis » à l’époque.

Le 10 février, Van Rootselaar a tué huit personnes (sa mère, son demi-frère de 11 ans et six autres à l’école secondaire de Tumbler Ridge) avant de se donner la mort par blessure auto-infligée.

Ce cas ne concerne pas seulement une erreur de jugement d’une entreprise. Il met en lumière l’absence de cadre juridique canadien pour attribuer la responsabilité lorsqu’une société d’IA détient des informations pouvant prévenir la violence.

En tant que chercheur en éthique de la santé et gouvernance de l’IA à l’Université Simon Fraser, j’étudie comment les systèmes algorithmiques transforment la prise de décision dans des contextes à enjeux élevés. La tragédie de Tumbler Ridge se situe précisément à cette intersection : une entreprise privée a réalisé une évaluation de risque de style clinique qu’elle n’était pas équipée pour faire, dans un environnement juridique qui ne lui offrait aucune orientation.

Le problème du confessionnal numérique

Les chatbots génératifs d’IA ne sont pas des médias sociaux. Les médias sociaux fonctionnent comme une place publique où les publications peuvent être surveillées et signalées par d’autres utilisateurs. Les interactions avec les chatbots sont privées, intimes et conçues pour être accueillantes. Les utilisateurs révèlent couramment leurs peurs, fantasmes et idées violentes à des systèmes conçus pour répondre avec chaleur conversationnelle.

En pratique clinique, ce type de divulgation déclenche une obligation bien établie. Le principe de Tarasoff, adopté dans plusieurs provinces canadiennes par la législation en santé mentale, impose aux thérapeutes une obligation d’avertir si ils déterminent qu’un patient constitue une menace crédible pour une personne identifiable, même si cela implique de violer la confidentialité. Mais cette obligation repose sur le jugement clinique de professionnels formés qui comprennent la différence entre idéation et intention.

On peut soutenir qu’OpenAI a tenté de reproduire cette norme clinique. Mais les personnes qui font ces évaluations sont des ingénieurs logiciels et des modérateurs de contenu, pas des psychologues légistes. L’entreprise elle-même a reconnu cette tension, évoquant les risques de « sur-enforcement » et le stress des visites policières non annoncées pour les jeunes.

La vraie question n’est pas de savoir si le raisonnement d’OpenAI était défendable isolément. C’est de savoir si une entreprise privée devrait prendre cette décision en premier lieu.

Un vide où la législation devrait exister

Le ministre fédéral de l’IA, Evan Solomon, qui prévoit de rencontrer aujourd’hui, le 24 février, des représentants d’OpenAI à ce sujet, a déclaré le 21 février qu’il était « profondément troublé » par ces révélations, ajoutant que le gouvernement fédéral examine « une série de mesures » et que « toutes les options sont sur la table ». Mais ces options restent indéfinies car les outils législatifs qui auraient permis leur mise en œuvre n’existent plus.

La Loi sur l’intelligence artificielle et les données, intégrée au projet de loi C-27, devait être la réponse du Canada à la régulation de l’IA. La Loi sur les dommages en ligne (projet de loi C-63) aurait traité du contenu numérique nuisible. Les deux sont tombés du calendrier parlementaire lors de la prorogation du Parlement en janvier 2025.

Ce qui reste, c’est un code de conduite volontaire sans force juridique ni conséquences en cas de non-respect. Lorsqu’OpenAI a signalé le compte de Van Rootselaar, sa seule obligation était envers sa propre politique interne. Bannir le compte a permis de limiter la responsabilité de l’entreprise tout en laissant une personne exprimant des idées violentes sans aucune voie d’intervention.

La loi canadienne sur la vie privée aggrave le problème. La Loi sur la protection des renseignements personnels et les documents électroniques prévoit une exception d’urgence : l’article 7(3)(e) autorise la divulgation sans consentement « à une personne qui a besoin de l’information en raison d’une urgence menaçant la vie, la santé ou la sécurité d’un individu ». Mais cette disposition a été rédigée pour des crises évidentes, pas pour les indicateurs de menace probabilistes générés par les interactions avec les chatbots IA. Pour une entreprise étrangère naviguant dans cette ambiguïté, l’incertitude favorise l’inaction.

Ce dont le Canada a besoin maintenant

Le prochain effort du Canada en matière de gouvernance numérique doit reconnaître que les interactions humain-IA sont fondamentalement différentes des publications sur les médias sociaux. Trois éléments sont essentiels :

• Une législation contraignante avec des seuils juridiques clairs pour que les entreprises d’IA doivent signaler aux autorités les interactions signalées. Ces seuils doivent être élaborés avec des professionnels de la santé mentale, des forces de l’ordre et des experts en vie privée, et non laissés à la discrétion des entreprises.

• Une commission indépendante de sécurité numérique en tant qu’organisme tiers de triage. Lorsqu’une entreprise d’IA identifie des interactions fortement préoccupantes, elle doit référer le cas à des professionnels formés à l’évaluation des menaces, plutôt que de prendre la décision en interne ou de déclencher une réponse policière armée immédiate.

• Une législation modernisée sur la vie privée qui offre une clarté juridique explicite pour la divulgation spécifique à l’IA, résolvant l’ambiguïté qui incite actuellement à l’inaction.

Lors du sommet sur l’IA qui s’est tenu à New Delhi du 16 au 20 février, 86 pays, dont le Canada, ont promis de promouvoir une IA « sûre, fiable et robuste ». Aucune engagement concret n’a suivi. Sam Altman, d’OpenAI, a souligné l’urgence d’une régulation internationale de l’IA et proposé un organisme international pour les normes de sécurité de l’IA, inspiré de l’Agence internationale de l’énergie atomique, ce qui n’a pas échappé à ceux qui suivent de près les révélations de Tumbler Ridge.

Le ministre Solomon affirme que toutes les options sont sur la table. Les familles des victimes, les survivants et une communauté dévastée de Tumbler Ridge vivent avec le coût de laisser la régulation en suspens trop longtemps.