OpenAI приобретает компанию по безопасности ИИ Promptfoo: повышает безопасность тестирования и тренировок красной команды до уровня нативных функций Frontier

動區BlockTempo

OpenAI объявила о приобретении платформы безопасности ИИ Promptfoo, интегрировав её технологии в платформу Frontier, чтобы обеспечить автоматизированное тестирование красных команд и защиту от уязвимостей при развертывании AI-агентов в корпоративных системах.
(Предыстория: Сам Алтман — подлый? Недавно заблокированный Pentagon Anthropic повернулся и призвал OpenAI взять контракт Министерства обороны США)
(Дополнительный фон: Wall Street Journal сообщает: Трамп использовал Claude AI для определения целей по ликвидации Хамени Ирана, а OpenAI полностью взяла под контроль системы Пентагона)

OpenAI вчера (9-го числа) объявила о приобретении платформы безопасности ИИ Promptfoo, основанной в 2024 году стартапа, специализирующегося на тестировании уязвимостей и проведении красных команд для больших языковых моделей (LLM), имитирующих реальные кибер-атаки для защиты систем.

По мере того, как ИИ превращается из диалогового робота в «коллегу с полномочиями», важнейшей задачей становится предотвращение взломов этих агентов или их случайной передачи чувствительных данных — это ключевая проблема для масштабного внедрения ИИ в бизнесе.

Риски безопасности в эпоху AI-агентов

Согласно официальному заявлению OpenAI, технологии Promptfoo будут глубоко интегрированы в недавно запущенную в феврале 2026 года корпоративную платформу OpenAI Frontier, предоставляющую поддержку компаниям при создании и управлении агентами на платформе:

  • Встроенное безопасное тестирование: автоматизированные функции тестирования безопасности и красных команд станут частью базовых возможностей Frontier, помогая компаниям выявлять и устранять риски, такие как быстрый внедрение уязвимостей, взломы, утечки данных, злоупотребление инструментами и выход за рамки стратегий поведения агентов.
  • Интеграция безопасности и оценки в рабочие процессы разработки: Frontier будет глубоко интегрирована с процессами выявления, расследования и устранения рисков агентов, делая безопасность неотъемлемой частью разработки и эксплуатации корпоративных ИИ-систем.
  • Контроль и ответственность: объединённые отчёты и трассируемость помогут организациям документировать тесты, отслеживать изменения со временем и соответствовать всё более строгим требованиям по управлению, рискам и соблюдению нормативов в области ИИ.

По состоянию на сегодняшний день, открытые инструменты Promptfoo уже используют более 25% компаний из списка Fortune 500, а также 350 тысяч разработчиков. Эта команда из всего 23 человек получила инвестиции на сумму 23 миллиона долларов и после последнего раунда финансирования в июле 2025 года оценивается в 86 миллионов долларов.

Основатели Promptfoo, Иэн Вебстер и Майкл Д’Анджело, возглавят всю команду, присоединившись к OpenAI.

Безопасность и обязательства — в центре внимания

Проще говоря, AI-агенты постепенно превращаются из «студентов, ищущих информацию», в «помощников, действующих по вашему поручению и с вашим штампом».

Это изменение повышает риски с утечки информации до потери контроля над действиями. Когда мы даём ИИ автономию выполнять задачи, опаснее уже не его ошибки в высказываниях, а искажения в понимании намерений или введение в заблуждение через скрытые команды — что может привести к ошибочным переводам, удалению важных файлов и другим необратимым действиям.

В среде, где несколько ИИ взаимодействуют друг с другом, логическая ошибка одного агента может вызвать цепную реакцию катастрофических последствий.

Поэтому безопасность в эпоху агентов заключается не в блокировке информации, а в «мониторинге поведения». Нужно управлять ИИ так же, как сотрудников: устанавливать чёткие границы полномочий и механизмы проверки. Только делая действия ИИ прозрачными и строго контролируемыми, мы можем обеспечить, чтобы эта мощная автоматизация не стала для компании самым уязвимым «задним ходом».

Посмотреть Оригинал
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.
комментарий
0/400
Нет комментариев