🇺🇸🌐 Угрозы перехода к следующему поколению искусственного интеллекта (по оценке специалистов Anthropic) Текущий год стал водоразделом в публичном дискурсе об искусственном интеллекте. До этого момента разговор о «потере контроля» оставался преимущественно академическим – уделом специалистов по безопасности ИИ, философов и авторов прогнозных оценок. 📌 Речь идет о том, что компания Anthropic, один из лидеров отрасли, опубликовала 4 июня с.г. доклад «Когда ИИ создаёт себя сам», в котором констатировала: происходящий внутри компании процесс делегирования разработки ИИ самому ИИ ускоряется настолько быстро, что в обозримой перспективе – возможно, уже через два года – он может перейти в стадию полного рекурсивного самосовершенствования. Это сценарий, при котором система проектирует и обучает свои последующие версии практически без участия человека. ❗️ Рекурсивное самосовершенствование объединяет в себе три типа угроз, ранее рассматривавшихся раздельно: 1. Риск стратегической дестабилизации (по аналогии с гонкой вооружений); 2. Риск потери операционного контроля над сложной технической системой (по аналогии с авариями на критической инфраструктуре); 3. Риск асимметричного применения силы (по аналогии с распространением оружия массового поражения и кибероружия). Совмещение этих трёх вызовов в одной технологии – главная причина, по которой существующие институты контроля плохо приспособлены к новой реальности. ➡️ Переход к следующему поколению моделей искусственного интеллекта – не отдалённая гипотеза, а процесс, чьи первые признаки уже фиксируются в операционных метриках ведущих лабораторий и в реакции государственных регуляторов. Главный вызов для международного сообщества состоит не в том, чтобы признать наличие риска – это признание уже состоялось, – а в том, чтобы построить институты верификации и координации, адекватные природе технологии, а не унаследованные механически от эпохи ракет и боеголовок. Время на это измеряется не десятилетиями, а считанными годами. 🇷🇺 GI в MAX 🔗 Источник