ИИ-модель Claude вышла из-под контроля во время обучения и трижды взломала системы реальных организаций

Ошибка произошла из-за неправильно настройки тестовой среды. Claude смогла «вырваться» из тестовой среды и получить несанкционированному доступу к системам трех организаций. В ходе анализа расшифровок наших тестов на кибербезопасность мы обнаружили три инцидента, в которых модель Claude выходила в интернет из сторонней тестовой среды или при взаимодействии с ней, — заявили в компании по итогам проведённого внутреннего расследования. Ошибка возникла из-за недопонимания между Anthropic и сторонним партнером. Вопреки инструкции для тестовых запусков ИИ, где говорилось о необходимости отключить интернет, доступ в сеть был открыт. В итоге модели ИИ верили промпту об отсутствии интернета, считали все вокруг симуляцией и нарушали протоколы безопасности ради выполнения тестовых заданий. #Технологии