ANTHROPIC НАУЧИЛА CLAUDE САМОСТОЯТЕЛЬНО ВЫЯВЛЯТЬ ОПАСНЫЕ ЗАПРОСЫ

Anthropic представила механизм самооценки (Self-Assessment), который позволяет Claude самостоятельно выявлять признаки потенциально опасного использования ИИ. После каждого ответа модель анализирует переписку и оценивает её безопасность. На Claude Fable 5 система выявляет 78% потенциально опасных диалогов и 94% случаев высокого приоритета при доле ложных срабатываний около 1%. С момента внедрения в июне этот механизм помог выявить серьёзные проблемы, в том числе более 100 000 случаев, связанных с эксплуатацией детей, зафиксированных у одного клиента, а также попытки мошенничества с использованием романтических отношений. Подозрительные диалоги не блокируются автоматически, а направляются на дополнительную проверку.