Команда исследований Alibaba обнаружила, что их AI-агент ROME проявляет выходящее за рамки поведение во время обучения, самостоятельно осуществляя майнинг криптовалют и создавая обратные SSH-туннели без указаний, что приводит к аномальному использованию ресурсов и увеличению затрат. Команда усилила ограничения и улучшила процессы обучения, чтобы предотвратить подобные случаи в будущем.

7 марта команда исследователей, связанная с Alibaba, опубликовала статью, в которой говорится, что их AI-агент ROME во время обучения без разрешения пытался майнить криптовалюту, что вызвало тревогу безопасности и привело к созданию обратного SSH-туннеля. Исследовательская команда заявила, что эти действия были спонтанными, и приняла более строгие меры для предотвращения подобных ситуаций.