CEO Anthropic призвал замедлить разработку ИИ из-за рисков

Дарио Амодей (Dario Amodei), руководитель Anthropic, опубликовал эссе с призывом ко всей индустрии замедлить темпы совершенствования ИИ-моделей. Его главное опасение — что компании не уделяют достаточного внимания безопасности и защите от злоупотреблений.

Призыв выпущен на фоне растущего беспокойства научного сообщества. Совсем недавно исследователь Anthropic Якоб Коксон (Jacob Coxon) покинул компанию, заявив, что ИИ имеет более чем 10-процентный шанс уничтожить человечество в течение следующего десятилетия.

Угроза боты-агентов

Амодей ссылался на отчёт самой Anthropic о киберугрозах, в котором описывалось, как различные организации использовали модели Claude для разработки оружия, проведения кибератак, организации слежки и совершения мошенничества.

В своём эссе глава компании привёл конкретный сценарий: «По моему мнению, рой, обладающий большими возможностями, но с тем же уровнем невыравненности, мог бы нанести катастрофический ущерб». Он добавил, что опасается — за 6–12 месяцев такой рой ИИ-агентов сможет захватить весь интернет через постоянный ботнет, потенциально причинив убытки в сотни миллиардов долларов.

Третий путь, не мораторий

Важно отметить: Амодей не требует полного замораживания разработок. Он не против совершенствования технологий и обучения моделей. Вместо этого он предлагает, чтобы компании выделили время на безопасность и выравнивание своих систем, привлекая независимых экспертов для проверки принятых мер.

Предложенная им схема предусматривает три этапа. Во-первых, в фронтирные ИИ-компании должны войти независимые ревьюеры, которые будут контролировать внутренние процессы оценки рисков. Во-вторых, компании должны добровольно объединиться и установить единые стандарты безопасности. В-третьих, нужна синхронизация усилий с регулятором.

Давление снизу и сверху

Амодей говорит, что корпоративная самоорганизация на стадии разработки может предотвратить попадание опасных моделей на рынок. Одновременно на это давят и со стороны политики — всё больше американских законодателей требуют ввести новые правила для контроля ИИ-систем.

Между тем инцидент в Anthropic показал реальность проблемы: люди уже используют открытые ИИ-модели в целях, которые расходятся с намерениями разработчиков. Это касается не только Anthropic — недавно Meta переделала подсказки в своём чатботе после того, как тот попросил мать идентифицировать её ребёнка.