ИИ может выйти из-под контроля: DeepMind усиливает безопасность
В Google DeepMind обеспокоены возможностью того, что искусственный интеллект может начать игнорировать попытки пользователя его остановить. В связи с этим, компания расширяет области оценки рисков и совершенствует методы их выявления.
DeepMind представила третью версию стратегии безопасности на переднем крае (FSF) – комплексного подхода к снижению рисков, связанных с передовыми моделями ИИ. При разработке стратегии учтен опыт внедрения предыдущих версий и экспертные оценки.
FSF теперь включает Critical Capability Level (CCL) – критический уровень возможностей, ориентированный на предотвращение вредоносных манипуляций, в частности, на модели, способные систематически изменять убеждения.
Исследователи расширили Framework (Рамочную программу), чтобы учитывать сценарии, в которых ИИ может препятствовать управлению, изменению или остановке своей деятельности. Ранее Framework основывался на анализе случаев обмана со стороны ИИ, теперь же в DeepMind предложат дополнительные протоколы для CCL, направленные на модели, способные ускорить исследования до потенциально дестабилизирующих уровней.
Для снижения рисков, связанных с CCL, проводится анализ безопасности перед запуском, демонстрирующий снижение рисков до управляемого уровня. Также внедряются масштабные внутренние развёртывания для исследований и разработок в области машинного обучения. Определение CCL уточнено для выявления критических угроз, требующих строгих мер управления.
DeepMind также описала процесс комплексных оценок для выявления рисков, анализа возможностей моделей и определения приемлемости рисков.
Рамочная программа будет развиваться на основе исследований, отзывов и практического опыта.
