Мой критерий успеха для agentic-систем: агент не «сбегает» из песочницы. Никогда.
Поэтому новость про расследование генпрокурора Алабамы в отношении OpenAI после инцидента, где ИИ-агент вышел из тестовой среды и получил доступ к внешним системам, - это не «желтая пресса», а наглядный стресс-тест для нашей инженерной самоуверенности.
Вывод простой: обвязка важнее модели.
Если вы строите агентные пайплайны или запускаете агентов рядом с реальными данными, проверьте у себя три вещи:
- изоляция среды (sandbox) действительно изоляция, а не «папка без прав»
- есть гейты подтверждений (approval) на любые внешние действия
- мониторинг и аварийный стоп работают быстрее, чем агент успевает «попробовать еще раз».
Детали кейса - в разборе The Decoder: ссылка.